IA PARA EFP • MÓDULO 8

Aprendizagem por reforço: Q-Learning

Como um agente autónomo aprende políticas ótimas a partir de tentativas, recompensas e penalizações.

🎯 Learning Outcomes / Ishodi učenja:
  • Compreender Estados, Ações, Recompensas e a tabela Q.
  • Observar o equilíbrio entre exploração (ε) e aproveitamento.
  • Investigar o fator de desconto (γ): gratificação imediata vs objetivo a longo prazo.
  • Ver o agente aprender o caminho mais curto num labirinto.

Ao contrário da aprendizagem supervisionada, o agente aprende como um animal de estimação: realiza ações, recebe recompensas (+10 pelo objetivo, −0,1 por passo, −10 por cair) e descobre a melhor rota.

Q(s, a) ← Q(s, a) + α [ r + γ max Q(s', a') − Q(s, a) ]

A equação de Bellman atualiza a recompensa futura esperada para cada par estado-ação.

🔬 Interactive Laboratory / Interaktivna laboratorija:

🔍 Guided Investigation / Istraživački zadatak:
  1. Exploração do labirinto: Clique em Executar e veja as setas surgirem nas células.
  2. Caminhada no precipício: Mude para Precipício. Compare ε = 0,4 e ε = 0,05.
  3. Dilema do tesouro: No mapa Tesouro, defina γ = 0,5 (tesouro próximo) vs γ = 0,95 (objetivo distante).