Please enable JavaScript.
Coggle requires JavaScript to display documents.
Resampling - Coggle Diagram
Resampling
Spending your data
Training error
Calcolato sull'insieme di dati usato per stimare i parametri
Decresce all'aumentare del campione. Si rischia overfitting
Test error
L'errore medio che si ottiene applicando il modello a nuove osservazioni indipendenti.
Convalida
Stimare l'errore predittivo del modello o selezionare la complessità ottimale del modello
LOOCV
Si esclude un elemento i alla volta e si calcola MSE su n-i campioni, facendo variare i n volte
bias nullo, alta varianza, computazionalmente oneroso
K-Fold Cross Validation
Si dividono in K gruppi casuali, si esclude un gruppo e si calcola MSE su K-1 gruppi, facendo variare il gruppo escluso K volte
Standard universale nei Big Data
Ottimo bilanciamento bias-varianza, molto più efficiente rispetto a LOOCV
Validazione Semplice
Test set
Validation set
Alta varianza, rischio di sovrastima del bias
Bootstrap
Tecnica di ricampionamento utilizzata per quantificare l'incertezza di uno stimatore
Si crea un campione Bootstrap estraendo con ripetizione n osservazioni da un campione di n valori.
Alcune unità usciranno più frequentemente di altre
Altre, circa il 36,8%, non usciranno mai (OOB, Out Of Bag)
Per stimare l'errore standard:
Si fissa un elevato valore B di ripetizioni bootstrap
Si ottiene la stima dell'errore standard calcolando la deviazione standard campionaria delle B repliche ottenute
Per ogni ciclo b da 1 a B si estrae un campione bootstrap con ripetizione dal dataset originale e si calcola la replica bootstrap dello stimatore su questo campione