AI FOR VET • POGLAVLJE 8

Učenje kroz interakciju: Q-učenje u lavirintu

Kako autonomni agent uči optimalnu politiku iz pokušaja, nagrada i kazni.

🎯 Learning Outcomes / Ishodi učenja:
  • Razumevanje stanja, akcija, nagrada i Q-tabele.
  • Ravnoteža između istraživanja (ε) i iskorišćavanja znanja.
  • Faktor diskontovanja (γ): trenutna korist naspram dalekog cilja.
  • Praćenje kako agent uči najkraću putanju kroz lavirint.

Za razliku od učenja sa nastavnikom, agent uči kao pas dresuru: pravi korake, dobija nagrade (+10 za cilj, −0.1 za korak, −10 za pad sa litice) i postepeno otkriva najisplativiju strategiju kretanja.

Q(s, a) ← Q(s, a) + α [ r + γ max Q(s', a') − Q(s, a) ]

Belmanova jednačina ažurira očekivanu buduću korist za svaki par stanje-akcija.

🔬 Interactive Laboratory / Interaktivna laboratorija:

🔍 Guided Investigation / Istraživački zadatak:
  1. Lavirint: Kliknite na Pokreni i pratite kako se strelice formiraju ka cilju.
  2. Hod po litici: Prebacite na mapu Litica. Uporedite ε = 0.4 i ε = 0.05.
  3. Dilema sa blagom: Na mapi Blago podesite γ = 0.5 (uzima malo blago blizu) vs γ = 0.95 (ide do velikog cilja).