AI FOR VET • POGLAVLJE 3.2
Optimizacija modela: Gradijentni spust
Kako modeli mašinskog učenja pronalaze optimalne težine i minimizuju grešku?
🎯 Ishodi učenja (Šta ćete savladati):
- Razumećete ulogu funkcije troška $J(w)$ kao mere greške modela.
- Naučićete kako gradijent određuje smer i nagib korekcije težina.
- Istražićete uticaj stope učenja (α): premala vs. optimalna vs. prevelika stopa (divergencija).
- Uočićete izazov lokalnih minimuma kod nekonveksnih problema.
1. Osnovni princip algoritma
Cilj mašinskog učenja jeste da pronađe takve parametre (težine $w$) koji daju najmanju moguću grešku (funkciju troška $J(w)$).
Zamislite da se nalazite na planini po gustoj magli i želite da se spustite u dolinu.
Najlogičnija strategija jeste da opipate tlo oko sebe i zakoračite u smeru najvećeg nagiba nadole.
Upravo to radi gradijentni spust (Gradient Descent)!
w ← w - α · (dJ / dw)
Gde je:
$w$ trenutna težina modela,
$\alpha$ (alpha) stopa učenja (veličina koraka), a
$dJ/dw$ izvod (gradijent) koji pokazuje nagib krive.
2. Interaktivna laboratorija
Isprobajte algoritam u realnom vremenu. Pomerajte parametre, kliknite na krivu da postavite početnu tačku,
ili pokrenite kontinualno obučavanje pomoću dugmeta Pokreni.
🔬 Istraživački zadatak za učenike:
- Normalna konvergencija: Ostavite profil na Konveksna sa $\alpha = 0.15$. Kliknite na Pokreni. Koliko epoha je potrebno modelu da stigne do minimuma ($w = 2.0$)?
- Premala stopa učenja: Postavite $\alpha = 0.01$. Pokrenite model. Zašto se tačka kreće izuzetno sporo?
- Divergencija: Povećajte $\alpha$ na preko $0.85$. Šta se dešava sa koracima? Zbog čega tačka "preskače" minimum i počinje da beži u beskonačnost?
- Zamka lokalnog minimuma: Izaberite profil Nekonveksna. Postavite početnu tačku na $w_0 = -2.2$. Da li model završava u lokalnom ili globalnom minimumu?