Please enable JavaScript.
Coggle requires JavaScript to display documents.
BIAS & VARIANCE DECOMPOSITION - Coggle Diagram
BIAS & VARIANCE DECOMPOSITION
Obiettivo
Stimare l'ipotesi dai dati
Bias & Varianza stimatore
Bias
theta - E(stimatore)
quanto funziona lo stimatore in media
se Unbiased, stimatore valore vero in media
Varianza
E[(stimatore - E[stimatore])^2]
Quanto lo stimatore si discosta dalla media
si cerca valore varianza zero
Conditional and Expected True Error
Conditional
TrueE(h*|D) =(h°(x) -f(x))^2 +V(epsilon)
Expected
ExpTrueE(h*|D)=
V(epsilon) + Bias (h°(x)^2)+V(h(x))
FITTING
Under Fitting
bias alta varianza bassa
Ottimale=
varianza e Bias Bassi
Overfitting
bias bassa varianza alta
BIAS DECOMPOSTION
BIAS as
E[f-f*]= f- f^ +f^ -E[f°]
f^ expected best approximation
non calcolabile se funzione non convessa
f-f^ dipende da come scegli H
f^-E[f*] dipende dal learning algorithm
RESTRICTED MODEL SPACE
soluzioni che possono essere trovate dal nostro algoritmo di learning
nella regressione lineare coincide col model space (ovvero lo spazio delle ipotesi H)