Please enable JavaScript.
Coggle requires JavaScript to display documents.
PENALISATION & PRIORS - Coggle Diagram
PENALISATION & PRIORS
Penalisation Model
piuttosto che scegliere H0 H1 H2 H3
scelgo il più grande e penalizzo le soluzioni di grado più alto
Penalised Model
h^ = argmin (SUM L(h,s) + lambda J(h)
L misura bontà di h
J misura complessità di h
simile al concetto di AIC BIC
MA FUNZIONE MINIMIZZATA DURANTE IL TRAINING
RIDGE REGRESSION
Penalised Model con
Norma 2
come misura di complessità
ha un minimo unico globale:
calcolabile con le derivate
w*= (xTx+lambda I)^-1 xTy
Aw*=b
Lambda è quanto io voglio concentrarmi a ridurre la complessità rispetto a fittare i dati
MISURARE COMPLESSITA'
Contando le non zero entries
|w|0 = n° {wi !=0}
New Optimizazion Problem
w* = argmin (SUM (y-wTphi(x))^2 + lambda |w|0
funzione obiettivo non più discreta
non più differenziabile
NP HARD PROBLEM
Rasoio di OCCAM
aggiungendo penalizzazione, stiamo preferendo modelli semplici ad uno complesso
p norm
al posto delle non zero entries
norma 1 = somma valori assoluti
norma 2 = radice somma quadrati valori assoluti
norma inf= valore assoluto massimo