Please enable JavaScript.
Coggle requires JavaScript to display documents.
Lez. 22 - Errori decisionali e dimensioni dell'effetto - Coggle Diagram
Lez. 22 - Errori decisionali e dimensioni dell'effetto
Dare senso alla significatività statistica
Quando facciamo verifica delle ipotesi arriviamo alla conclusione se rifiutare o meno l'ipotesi nulla, ma questa è solo una parte della storia.
Considerazione generale sulla verifica delle ipotesi
E' il processo che ci consente di decidere su base probabilistica se rifiutare o meno l'ipotesi nulla.
Non siamo mai sicuri al 100%
ESEMPIO
In letteratura sappiamo che l'attività fisica aiuta il benessere negli anziani. Il problema è che la loro motivazione è bassa, portando ad alti livelli di inattività fisica.
Passate ricerche evidenziano che usare la tecnologia durante l'attività fisica aumenta motivazione.
Uno psicologo è interessato a verificare se fare attività fisica in un ambiente virtuale può influenzare la motivazione a fare attività fisica.
Abbiamo scelto un livello di significatività dell'1%, significa che l'ipotesi bidirezionale.
bidirezionale perché sappiamo che anziani hanno un rapporto particolare con la tecnologia, c'è chi riesce a stare al passo e chi no.
La media del campione che è 2,28, non rientra in quell'area che è quella del rifiuto dell'ipotesi nulla.
Quello che il ricercatore sarebbe portato a concludere è che usare realtà virtuale non ha effetto e non è un buon mezzo per motivarli.
In altro caso abbiamo scelto un livello di significatività del 95%. Scegliendo questo, la media del campione rientra nell'area di rifiuto dell'ipotesi nulla. Quindi diciamo che funziona.
A volte basta cambiare il livello di significatività. Ma quale dei due scegliamo a questo punto?
Ci sono altre info che ci possono aiutare a fare questa scelta.
Erorre di I e II tipo;
La dimensione dell'effetto;
La verifica delle ipotesi risponde se si o no, la dimensione dell'effetto risponde a quanto è stato efficace.
La potenza statistica
La potenza statistica: la nostra ricerca aveva le caratteristiche essenziali per far emergere un valore significativo.
Errori I e II tipo
Anche quando la procedura di verifica delle ipotesi è eseguita correttamente, le conclusioni che ne traiamo si possono rivelare sbagliate.
Le conclusioni sono sempre su base probabilistica: non abbiamo mai la certezza che l'ipotesi nulla sia falsa o vera.
Errori decisionali
Errori di I tipo
Immaginiamo di impostare un livello di significatività al 20%: significa che il 20% delle volte (1 su 20) rifiuterò l'ipotesi nulla
Più questo livello è grande, più sono le probabilità di rifiutare l'ipotesi nulla, ma anche più alta di rifiutarla per sbaglio.
ESEMPI
Fare attività fisica con VR aumenta motivazione quando in realtà non ha alcun effetto;
Il nuovo trattamento per la depressione diminuisce i sintomi, quando non ha nessun effetto;
Il nuovo modello di lavoro flessibile aiuta a contrastare il burnout, quando non ha alcun effetto;
Il nuovo trattamento per l'ansia sociale è efficace, quando non ha nessun effetto.
Non sappiamo mai quando stiamo sbagliando, ma impostare il livello di significatività (a) basso aiuta a contrastare l'errore di I tipo.
0.05 = 5 volte su 100 ci sbagliamo.
=.01= 1 volta su 100 ci sbagliamo.
Livello di significatività (a)= probabilità di commettere un errore di I tipo.
Quando parliamo di errore di I tipo ci riferiamo alla distribuzione della popolazione 2, quella dove gli eventi o un certo risultato sono dovuti al caso. Sappiamo che ha una forma normale e sappiamo che è fissa la distribuzione.
Tutto quello che posso fare è stabilire quanto voglio sbagliare, qual è il rischio che voglio prendere.
Se si vuole essere sicuri cerchiamo di ridurre al minimo e scegliere il più piccolo, ma non è così semplice.
Se noi diminuiamo la probabilità di commettere errore di I tipo, aumentiamo quello del II tipo
Più il livello di significatività (a) è basso, più è difficile rifiutare l'ipotesi nulla
Es. Il nuovo trattamento per la depressione non migliora i sintomi quando in realtà è efficace.
Errori di II tipo
probabilità di rifiutare l'ipotesi di ricerca quando questa era vera
Errore di Ii tipo è indicato con la lettera greca beta (b)
Verifica delle ipotesi
Noi ci possiamo trovare in una di queste 4 possibilità. Distinguiamo tra quello che noi otteniamo nella nostra ricerca e quello che succede nella realtà.
Quando facciamo un ricerca, cerchiamo di gestire al minimo errore di I e II tipo, ma non avremo mai la certezza 100% che il risultato ottenuto corrisponde alla realtà.
Situazione in cui ci possiamo trovare
La ricerca ha rifiutato l'ipotesi nulla, quando era vera (errore di I tipo)
Rifiutiamo ipotesi nulla, e l'ipotesi di ricerca era vera (decisione corretta)
Falliamo nel rifiutare ipotesi nulla, quando ipotesi nulla era vera (decisione corretta)
Fallisco nel rifiutare ipotesi nulla, quando ipotesi di ricerca era vera (Errore di II tipo)
Ma non so quando li sto commettendo
possiamo sempre avere campione particolare es.
Nella ricerca per gli anziani e attività fisica, abbiamo beccato il campione di anziani a cui piace particolarmente la tecnologia. Sarà ovviamente particolarmente efficace, ma magari non lo è.
La dimensione dell'effetto
Il livello di significatività risponde alla domanda: c'è o non c'è un effetto?
La dimensione dell'effetto: quanto è grande l'effetto osservato?
domande
Quanto sono diverse le medie delle popolazioni?
Quanto le due popolazioni non si sovrappongono?
Quanto è il cambiamento dopo l'intervento?
Possiamo vedere come interpretare la dimensioni dell'effetto, vedendo quanto le distribuzioni (popolazione 1 e 2) si sovrappongono, con idea che meno si sovrappongono più sarà grande l'effetto
Come si calcola la dimensione d'effetto
La dimensione dell'effetto grezza è uguale a differenza tra medie:
u1-u2= 2.28 - 2.18 = 0.10
Quello che otteniamo è una differenza grezza. Come interpretiamo questo risultato? Standardizziamo.
Usiamo la deviazione standard come unità di misura.
d=u1-u2 / o
Dove:
d=simbolo della dimensione dell'effetto, detta anche d di Cohen;
u1=media della popolazione 1 stimata dal campione;
u2= media della popolazione 2 (ipotesi nulla);
o=deviazione standard delle popolazioni. Si assume che le deviazioni standard delle due popolazioni siano uguali.
Il segno informa
Positivo: c'è stato un aumento (u1>u2)
Negativo: c'è stato una diminuzione (u1<u2)
ESEMPIO
Lo psicologo voleva sapere se fare attività fisica in VR negli anziani li motiva di più
Prendendo livello di significatività del 95% avevamo visto che c'è un effetto, ma quanto è grande questo effetto?
Abbiamo visto che la media del campione è 2.28, mentre la media della popolazione generale era di 2.18.
d=2.28/2.18(1.08) = 0.09
2 more items...
risultati di 3 esperimenti.
abbiamo voluto valutare l'efficacia nel motivare anziani con 3 interventi:
VR
1 more item...
Uso di XGame (es. Wii)
1 more item...
Uso smartwatch
1 more item...
Sono tutti e 3 significativi, ma allenarsi con smartwatch è più efficace rispetto agli altri interventi, e possiamo dirlo solo perché abbiamo standardizzato la differenza tra le medie.
la dimensione d'effetto e significatività
CASI
Risultati significativi ed Effetto grande (caso ideale)
Risultati non significativi ed Effetto grande
Risultati significativi ed Effetto trascurabile
Risultati non significativi ed Effetto trascurabile
La significatività è influenzata dalla grandezza dell'effetto e dalla numerosità dei campioni.
C'è sempre possibilità di sbagliarsi, ma può essere un po' manipolata, un modo è dimensione d'effetto. Più è grande, meno è probabile di sbagliarci. Aiuta a dare un senso ai risultati che leggiamo ad es. negli articoli o ottenuti nella nostra ricerca.