AI PRE OVP • MODUL 8

Posilňované učenie: Q-learning

Ako sa autonómny agent učí optimálne stratégie z pokusov, odmien a trestov.

🎯 Learning Outcomes / Ishodi učenja:
  • Pochopiť Stavy, Akcie, Odmeny a Q-tabuľku.
  • Sledovať rovnováhu medzi prieskumom (ε) a využívaním skúseností.
  • Preskúmať diskontný faktor (γ): okamžitá odmena vs dlhodobý cieľ.
  • Sledovať, ako agent nájde najkratšiu cestu bludiskom.

Na rozdiel od učenia s učiteľom sa agent učí ako šteňa: vykonáva akcie, dostáva odmeny (+10 za cieľ, −0,1 za krok, −10 za pád z útesu) a postupne objaví najvýhodnejšiu stratégiu.

Q(s, a) ← Q(s, a) + α [ r + γ max Q(s', a') − Q(s, a) ]

Bellmanova rovnica aktualizuje očakávanú budúcu odmenu pre každú dvojicu stav-akcia.

🔬 Interactive Laboratory / Interaktivna laboratorija:

🔍 Guided Investigation / Istraživački zadatak:
  1. Bludisko: Kliknite na Spustiť a sledujte vznik šípok v bunkách.
  2. Chôdza po útese: Prepnite na mapu Útes. Porovnajte ε = 0,4 a ε = 0,05.
  3. Dilema s pokladom: Na mape Poklad porovnajte γ = 0,5 (blízky malý poklad) vs γ = 0,95 (vzdialený cieľ).