AI FOR VET • POGLAVLJA 3.3 & 3.10
Generalizacija: Polinomska regresija i preprilagođavanje
Zlatna sredina mašinskog učenja — kako izbeći da model "buba napamet" (Overfitting) ili bude previše prost (Underfitting)?
🎯 Ishodi učenja (Šta ćete savladati):
- Uočićete suštinsku razliku između performansi na trening skupu i novim (validacionim) podacima.
- Istražićete uticaj stepena polinoma ($d$) na fleksibilnost modela.
- Prepoznaćete karakterističnu U-krivu greške u zavisnosti od složenosti modela.
- Isprobati ulogu L2 (Ridge) regularizacije (λ) u zauzdavanju prekomerne varijanse.
1. Balans između pristrasnosti i varijanse (Bias-Variance Tradeoff)
Kada model mašinskog učenja obučavamo, želimo da on nauči opšte pravilo, a ne slučajni šum iz merenja.
Ako je model previše jednostavan (npr. prava linija za podatke koji prate krivu), on pati od potprilagođavanja (Underfitting).
S druge strane, ako model ima previše slobodnih parametara (npr. polinom 9. stepena), on će proći savršeno kroz sve trening tačke,
ali će na novim podacima dati katastrofalne greške — to je preprilagođavanje (Overfitting).
2. Interaktivna laboratorija
Pomerajte slajder za stepen polinoma od 1 do 9. Posmatrajte plavu liniju (krivu modela),
kao i desni grafik koji uporedo prikazuje Train MSE (plavo) i Validation MSE (crveno).
Možete kliknuti na grafik i dodati svoje tačke!
🔬 Istraživački zadatak za učenike:
- Stepen d = 1: Zašto je linija ravna i kolika je greška i na trening i na validacionom skupu?
- Optimalan stepen: Koji stepen polinoma daje minimalnu crvenu grešku (Validation MSE) na skupu "Sinusni talas"?
- Overfitting na d = 8 ili 9: Obratite pažnju na krajeve grafika! Zašto kriva naglo beži u visinu ili dubinu iako je trening greška skoro 0?
- Spasavanje regularizacijom: Ostavite stepen na $d=8$, a zatim lagano povećajte regularizaciju $\lambda$ na oko $0.05 - 0.10$. Šta se dogodilo sa divljim oscilacijama?