AI FOR VET • POGLAVLJA 3.7 & 3.8
Klasifikacija: Granice odlučivanja (k-NN i Stablo)
Kako različiti algoritmi dele prostor podataka i donose odluke? Geometrijsko poređenje algoritama najbližih suseda i stabala.
🎯 Ishodi učenja (Šta ćete savladati):
- Razumećete geometrijsku prirodu klasifikacije u 2D prostoru.
- Istražićete rad k-NN algoritma i uticaj parametra $k$ (Voronoi ćelije vs glatka granica).
- Naučićete kako Stablo odlučivanja (Decision Tree) formira pravougaone ortogonalne rezove pomoću Gini nečistoće.
- Uočićete kako dubina stabla utiče na overfit u klasifikaciji.
1. Kako mašina „vidi” granicu između klasa?
Svaka tačka u prostoru predstavlja objekat sa dva atributa (npr. senzorska merenja temperature i pritiska).
k-NN algoritam je intuitivan: nova tačka dobija klasu većine svojih najbližih komšija.
Stablo odlučivanja, s druge strane, postavlja niz sukcesivnih binarnih pitanja (npr. "Da li je temperatura > 45°C? Ako jeste, da li je pritisak < 2.5 bara?").
Zato stablo deli prostor isključivo linijama paralelnim sa koordinatnim osama!
2. Interaktivna laboratorija
Prebacujte se između modela (k-NN i Stablo). Pomerajte miš preko prostora kod k-NN-a da vidite vektore ka najbližim susedima.
Kliknite na površinu da dodate sopstvene tačke za Klasu A ili Klasu B!
🔬 Istraživački zadatak za učenike:
- k-NN na k=1: Postavite $k=1$. Zbog čega je granica izlomljena i oštra? Dodajte jednu crvenu tačku unutar mase plavih tačaka — šta se dogodilo sa prostorom oko nje?
- Veći k (k=7 ili 9): Povećajte $k$. Kako se granica promenila i zašto je sada otpornija na pojedinačne greške u merenju?
- Stablo odlučivanja: Prebacite na Stablo sa dubinom 1 (tzv. panj / Decision Stump). Koliko rezova pravi stablo? Zatim povećajte dubinu na 4 ili 5 — primetite pravougaone kutije koje stablo gradi.
- Nelinearni skup "Dva polumeseca": Koji algoritam se prirodnije prilagođava krivolinijskom obliku polumeseca — k-NN ili Stablo?