AI FOR VET • POGLAVLJE 3.5
Evaluacija klasifikatora: Matrica konfuzije
Zašto sama tačnost (Accuracy) često nije dovoljna i kako prag odlučivanja (θ) menja sudbinu modela?
🎯 Ishodi učenja (Šta ćete savladati):
- Razumećete 4 ishoda binarne klasifikacije: TP, TN, FP (Greška tipa I) i FN (Greška tipa II).
- Naučićete razliku između preciznosti (Precision) i opoziva (Recall).
- Istražićete kako pomeranje praga klasifikacije $\theta$ menja ravnotežu grešaka u realnim stručnim scenarijima.
- Povezaćete odnos FPR i TPR sa ROC krivom i AUC metrikom.
1. Kada nas tačnost (Accuracy) laže?
Zamislimo fabriku u kojoj se proizvodi 1.000 komponenti dnevno, od kojih je samo 10 defektno (1%).
Ako napravimo "glup" model koji za svaki deo kaže "ispravan", on će imati čak 99% tačnosti!
Ipak, takav model je potpuno beskoristan jer je propustio 100% škarta.
Upravo zato u stručnom obrazovanju koristimo matricu konfuzije i metrike poput Recall-a i Precision-a.
2. Interaktivna laboratorija
Izaberite scenario iz struke, a zatim pomerajte prag odlučivanja (θ) pomoću slajdera ili prevlačenjem linije na grafiku.
Posmatrajte kako se ćelije matrice i tačka na ROC krivoj dinamički pomeraju!
🔬 Istraživački zadatak za učenike:
- Industrijski škart: Postavite scenario na Industrijska kontrola kvaliteta. Cilj je da nijedan defektan deo ne ode kupcu. Da li vam je važniji visok Recall ili visok Precision? Na koju vrednost morate postaviti prag $\theta$?
- Lažna uzbuna vs propust: Šta je u medicinskoj dijagnostici opasnije: Lažno pozitivno (FP) (zdrav čovek ide na dodatni pregled) ili Lažno negativno (FN) (bolestan čovek ide kući kao "zdrav")?
- ROC kriva: Šta predstavlja tačka u gornjem levom uglu ROC krive ($FPR=0, TPR=1$)?