La validità della ricerca nei veri esperimenti e quasi esperimenti in contesti naturali
esperimenti in contesti naturali: verifica della validità esterna dei risultati di laboratorio; valutazione dei servizi
il loro oggetto di ricerca è l'efficacia dei cambiamenti adottati da istituzioni, agenzie governative, altre organizzazioni
VERI ESPERIMENTI
portano a un risultato chiaro per quel che riguarda ciò che ha causato un evento
attuazione di intervento/ trattamento
alto grado di controllo (organizzazione delle condizioni sperimentali, assegnazione dei partecipanti, manipolazione sistematica delle variabili indipendenti, scelta delle variabili dipendenti, soprattutto attraverso l'assegnazione casuale alle condizioni)
confronto appropriato
ostacoli
difficoltà a ottenere permessi per condurli in contesti naturali (magari istituzioni) e ad accedere ai partecipanti
assegnazione casuale: può risultare scorretta perchè priva le persone di un trattamento innovativo, ma rimane il modo migliore ed equo per determinare l'efficacia di un nuovo trattamento
alternare i trattamenti
usare come gruppo di controllo la lista di attesa
se è difficile, si può ripiegare sui veri esperimenti
minacce alla validità interna
fattori confondenti che si prestano come plausibili spiegazioni alternative per un risultato di ricerca
il controllo delle spiegazioni alternative possibili può permettere di arrivare a un'inferenza casuale definitiva
Campbell e Stanley
effetti dovuti alla storia: verificarsi di un evento diverso dal trattamento che porta al modificarsi del comportamento
effetti dovuti alla maturazione: i partecipanti cambiano necessariamente in funzione del tempo
effetti dovuti alle prove: quando in un esperimento vengono fatte più prove, ad esempio in un disegno pre-test/post-test, l'effetto di un trattamento deve essere separato dall'effetto pre-test
effetti dovuti alla strumentazione: gli strumenti meccanici possono cambiare con l'uso ripetuto, ma quest'effetto è più probabile con l'uso di osservatori umani
effetti dovuti alla regressione verso la media: quando i soggetti vengono selezionati in base ai loro punteggi "estremi"; i punteggi che sono estremi in un test potrebbero non esserlo in un secondo test; la regressione verso la media potrebbe determinare una prestazione migliore (post-test) senza alcun trattamento semplicemente per via della regressione statistica
effetti legati alla perdita di soggetti: cambio della natura del gruppo, falsando l'equivalenza dei gruppi formati con l'assegnazione casuale
effetti legati alla selezione: differenze tra gruppo di controllo e quello di trattamento, quindi è necessario bilanciare le caratteristiche dei partecipanti attraverso l'assegnazione casuale
effetti ulteriori della selezione: selezione e storia, selezione e maturazione, selezione e strumentazione (es. effetti ceiling e floor)
problemi non controllabili dai veri esperimenti
effetto di diffusione: i partecipanti si comunicano informazioni sull'esperimento che possono portare a risentimenti e rivalità o a diffondere notizie sulla natura del trattamento
effetti di aspettativa: lo sperimentatore influenza in maniera non intenzionale i risultati
effetti di novità: il comportamento dei partecipanti cambia perchè un'innovazione produce eccitazione, energia, entusiasmo / effetto di disturbo: ad esempio nuove procedure a lavoro disturbano il lavoro dei dipendenti al punto che non riescono a mantenere la loro efficienza usuale
effetto Hawthorne: cambio del comportamento che deriva dalla consapevolezza dei partecipanti che qualcuno è interessato a loro
minacce alla validità esterna
gli effetti del trattamento non possono essere generalizzati aldilà del trattamento, delle persone, della situazione, dei risultati dell'esperimento, del trattamento
la validità esterna dipende da quanto il campione è rappresentativo
la migliore verifica è la replica (anche parziale: es. selezionano più di un gruppo di partecipanti)
QUASI-ESPERIMENTI
mancano del grado di controllo dei veri esperimenti
La lista delle possibili minacce alla validità interna può essere usata come un elenco di controllo per decidere quanto siano validi i risultati e le conoscenze ottenute
non hanno l'assegnazione casuale (randomizzazione)
il ricercatore deve essere pronto a cercare altre prove che potrebbero escludere una minaccia alla validità interna (non specificamente controllata)
O1 X O2
O1= prima osservazione di un gruppo o pre-test; X= trattamento; O2=seconda osservazione o post-test
disegno presperimentale o cattivo esperimento (validità interna ridotta)
la differenza tra i punteggi di pre-test e post-test potrebbe essere dovuta al trattamento o a ognuna delle varie minacce alla validità interna
disegno con gruppo di controllo non equivalente
gruppo di confronto (gruppo "come" il gruppo di trattamento)
misure pre-test e post-test da soggetti in entrambi i gruppi di trattamento e di confronto
non equivalenza= un gruppo di confronto viene selezionato su basi diverse dall'assegnazione casuale
nasce una minaccia di selezione
pre-test per valutare le somiglianze dei due gruppi rispetto a VD
O1 X 02---------- O1 O2
linea tratteggiata= i gruppi non sono stati assegnati casualmente
se i due gruppi differiscono nel pre-test ma sono uguali nel post-test si possono fare affermazioni sull'effetto del trattamento
minacce alla validità interna dovute a effetti della storia, della maturazione, delle prove, della strumentazione, della regressione possono essere controllate
importante: formazione di gruppi confrontabili all'inizio dello studio, assicurarsi che abbiano esperienze confrontabili, in quanto non si possono escludere del tutto questi possibili effetti congiunti alla selezione
studio di Langer e Rodin
effetto di due diversi tipi di istruzioni di responsabilità sul comportamento dei residenti in una casa di riposo (induzione di resposabilità vs nessuna induzione di responsabilità )
caratterizzato da molteplici azioni (es. prendere decisioni riguardo diverse cose e prendersi cura della pianta)
valutazione dell'efficacia del trattamento in generale, non delle singole azioni del trattamento
i quasi-esperimenti valutano l'efficacia di trattamenti che hanno molte componenti
la ricerca di follow-up può poi determinare quali comportamenti sono importanti per ottenere l'effetto del trattamento
minacce alla validità interna
effetto di selezione-maturazione: i componenti di un gruppo diventano stanchi o annoiati più in fretta dei componenti dell'altro gruppo
effetto selezione-storia (o storia locale): Cook e Campbell, un evento diverso dal trattamento colpisce un gruppo e non l'altro
più probabile quando il gruppo in trattamento si è autoselezionato, quando il gruppo di confronto proviene da una popolazione diversa dal gruppo in trattamento
effetto selezione-strumentazione: è più facile che vengano individuati i cambiamenti in uno strumento di misurazione in un gruppo piuttosto che nell'altro; il rischio è più alto se maggiore è la non equivalenza dei gruppi e quanto più i punteggi del gruppo sono vicini a un polo della scala
regressione differenziale verso la media: quando è più probabile che si presenti in un gruppo (trattamento) piuttosto che nell'altro (controllo)
effetti aspettativa, di diffusione, di novità
anche se i gruppi sono confrontabili pre-test, ciò non assicura che questi siano confrontabili in tutti i modi possibili che risultino rilevanti ai fini dell'esito dello studio
validità esterna: stesso processo deduttivo applicato alle questioni di validità interna; è probabile che uno studio non riesca a rispondere a tutte le domande di ricerca
disegno semplice a serie temporali interrotte
esame di una serie di osservazioni periodicamente, prima e dopo il trattamento
quando i cambiamenti della VD possono essere osservati un po' prima e dopo che è stato applicato il trattamento
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10
es. introduzione di un nuovo prodotto, attuazione di una nuova riforma sociale, inizio di una speciale campagna elettorale
prove per gli effetti del trattamento si hanno quando vi è discontinuità (cambiamenti repentini nei dati a serie temporali nel momento in cui viene attuato il trattamento)
minacce alla validità interna
effetti della storia (es. variazioni di natura ciclica, come le stagioni)
effetti della strumentazione (devono avvenire contemporaneamente al trattamento)
maturazione, prova e regressione sono eliminate dal fatto che esistano molteplici prove
se le persone hanno fatto test multipli, è probabile che un effetto del trattamento possa riguardare solo quegli individui che hanno fatto test multipli
viene volto un test su persone non selezionate casualmente: è possibile che i risultati siano limitati a chi ha caratteristiche simili
disegno a serie temporali con gruppo di controllo non equivalente
osservazioni prima e dopo il trattamento, sia per il gruppo di trattamento che per il gruppo di controllo
O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10 -------------------- O1 02 O3 O4 O5 O6 O7 O8 O9 O10
Linea tratteggiata= i gruppi non sono stati assegnati casualmente
eliminazione di minacce dovute alla storia
Valutazione di programma
valutazione dell'efficacia delle organizzazioni di servizi alla persona; fornisce feedback agli amministratori sui loro servizi
uso dell'inchiesta
valutazione di bisogni, processo, risultato, efficienza dei servizi sociali
relazione tra ricerca di base e ricerca applicata è reciproca
i veri esperimenti e i quasi esperimenti possono essere degli approcci eccellenti per valutare le riforme sociali, anche per evitare lo spreco di risorse
Quando non è possibile svolgere veri esperimenti
I risultati sono inconcludenti rispetto all’efficacia di un trattamento
Ipotesi: la mancanza di opportunità di prendere decisioni personali contribuisce alla debilitazione fisica e psicologica degli anziani
Istruzioni impartire ai residenti su due piani diversi
Differenze tra misure pre-test e post-test: gruppo di induzione più attivo, contento
Le valutazioni dei risultati possono servirsi di metodi sperimentali e quasi sperimentali per la ricerca in contesti naturali
Efficienza
Costo del programma; le scelte dipendono da quello che il governo o un’altra istituzione sono in grado di erogare
Caso estremo di ricerca applicata
La ricerca di base interpreta e spiega il mondo sociale e umano, conducendo alla ricerca applicata, che influenza e modifica la teoria deduttiva, riportando alla ricerc di base
Uso del metodo sperimentale da parte dei funzionari per identificare i problemi della società ed identificarne le soluzioni