La validità della ricerca nei veri esperimenti e quasi esperimenti in contesti naturali

esperimenti in contesti naturali: verifica della validità esterna dei risultati di laboratorio; valutazione dei servizi

il loro oggetto di ricerca è l'efficacia dei cambiamenti adottati da istituzioni, agenzie governative, altre organizzazioni

VERI ESPERIMENTI

portano a un risultato chiaro per quel che riguarda ciò che ha causato un evento

attuazione di intervento/ trattamento

alto grado di controllo (organizzazione delle condizioni sperimentali, assegnazione dei partecipanti, manipolazione sistematica delle variabili indipendenti, scelta delle variabili dipendenti, soprattutto attraverso l'assegnazione casuale alle condizioni)

confronto appropriato

ostacoli

difficoltà a ottenere permessi per condurli in contesti naturali (magari istituzioni) e ad accedere ai partecipanti

assegnazione casuale: può risultare scorretta perchè priva le persone di un trattamento innovativo, ma rimane il modo migliore ed equo per determinare l'efficacia di un nuovo trattamento

alternare i trattamenti

usare come gruppo di controllo la lista di attesa

se è difficile, si può ripiegare sui veri esperimenti

minacce alla validità interna

fattori confondenti che si prestano come plausibili spiegazioni alternative per un risultato di ricerca

il controllo delle spiegazioni alternative possibili può permettere di arrivare a un'inferenza casuale definitiva

Campbell e Stanley

effetti dovuti alla storia: verificarsi di un evento diverso dal trattamento che porta al modificarsi del comportamento

effetti dovuti alla maturazione: i partecipanti cambiano necessariamente in funzione del tempo

effetti dovuti alle prove: quando in un esperimento vengono fatte più prove, ad esempio in un disegno pre-test/post-test, l'effetto di un trattamento deve essere separato dall'effetto pre-test

effetti dovuti alla strumentazione: gli strumenti meccanici possono cambiare con l'uso ripetuto, ma quest'effetto è più probabile con l'uso di osservatori umani

effetti dovuti alla regressione verso la media: quando i soggetti vengono selezionati in base ai loro punteggi "estremi"; i punteggi che sono estremi in un test potrebbero non esserlo in un secondo test; la regressione verso la media potrebbe determinare una prestazione migliore (post-test) senza alcun trattamento semplicemente per via della regressione statistica

effetti legati alla perdita di soggetti: cambio della natura del gruppo, falsando l'equivalenza dei gruppi formati con l'assegnazione casuale

effetti legati alla selezione: differenze tra gruppo di controllo e quello di trattamento, quindi è necessario bilanciare le caratteristiche dei partecipanti attraverso l'assegnazione casuale

effetti ulteriori della selezione: selezione e storia, selezione e maturazione, selezione e strumentazione (es. effetti ceiling e floor)

problemi non controllabili dai veri esperimenti

effetto di diffusione: i partecipanti si comunicano informazioni sull'esperimento che possono portare a risentimenti e rivalità o a diffondere notizie sulla natura del trattamento

effetti di aspettativa: lo sperimentatore influenza in maniera non intenzionale i risultati

effetti di novità: il comportamento dei partecipanti cambia perchè un'innovazione produce eccitazione, energia, entusiasmo / effetto di disturbo: ad esempio nuove procedure a lavoro disturbano il lavoro dei dipendenti al punto che non riescono a mantenere la loro efficienza usuale

effetto Hawthorne: cambio del comportamento che deriva dalla consapevolezza dei partecipanti che qualcuno è interessato a loro

minacce alla validità esterna

gli effetti del trattamento non possono essere generalizzati aldilà del trattamento, delle persone, della situazione, dei risultati dell'esperimento, del trattamento

la validità esterna dipende da quanto il campione è rappresentativo

la migliore verifica è la replica (anche parziale: es. selezionano più di un gruppo di partecipanti)

QUASI-ESPERIMENTI

mancano del grado di controllo dei veri esperimenti

La lista delle possibili minacce alla validità interna può essere usata come un elenco di controllo per decidere quanto siano validi i risultati e le conoscenze ottenute

non hanno l'assegnazione casuale (randomizzazione)

il ricercatore deve essere pronto a cercare altre prove che potrebbero escludere una minaccia alla validità interna (non specificamente controllata)

O1 X O2

O1= prima osservazione di un gruppo o pre-test; X= trattamento; O2=seconda osservazione o post-test

disegno presperimentale o cattivo esperimento (validità interna ridotta)

la differenza tra i punteggi di pre-test e post-test potrebbe essere dovuta al trattamento o a ognuna delle varie minacce alla validità interna

disegno con gruppo di controllo non equivalente

gruppo di confronto (gruppo "come" il gruppo di trattamento)

misure pre-test e post-test da soggetti in entrambi i gruppi di trattamento e di confronto

non equivalenza= un gruppo di confronto viene selezionato su basi diverse dall'assegnazione casuale

nasce una minaccia di selezione

pre-test per valutare le somiglianze dei due gruppi rispetto a VD

O1 X 02---------- O1 O2

linea tratteggiata= i gruppi non sono stati assegnati casualmente

se i due gruppi differiscono nel pre-test ma sono uguali nel post-test si possono fare affermazioni sull'effetto del trattamento

minacce alla validità interna dovute a effetti della storia, della maturazione, delle prove, della strumentazione, della regressione possono essere controllate

importante: formazione di gruppi confrontabili all'inizio dello studio, assicurarsi che abbiano esperienze confrontabili, in quanto non si possono escludere del tutto questi possibili effetti congiunti alla selezione

studio di Langer e Rodin

effetto di due diversi tipi di istruzioni di responsabilità sul comportamento dei residenti in una casa di riposo (induzione di resposabilità vs nessuna induzione di responsabilità )

caratterizzato da molteplici azioni (es. prendere decisioni riguardo diverse cose e prendersi cura della pianta)

valutazione dell'efficacia del trattamento in generale, non delle singole azioni del trattamento

i quasi-esperimenti valutano l'efficacia di trattamenti che hanno molte componenti

la ricerca di follow-up può poi determinare quali comportamenti sono importanti per ottenere l'effetto del trattamento

minacce alla validità interna

effetto di selezione-maturazione: i componenti di un gruppo diventano stanchi o annoiati più in fretta dei componenti dell'altro gruppo

effetto selezione-storia (o storia locale): Cook e Campbell, un evento diverso dal trattamento colpisce un gruppo e non l'altro

più probabile quando il gruppo in trattamento si è autoselezionato, quando il gruppo di confronto proviene da una popolazione diversa dal gruppo in trattamento

effetto selezione-strumentazione: è più facile che vengano individuati i cambiamenti in uno strumento di misurazione in un gruppo piuttosto che nell'altro; il rischio è più alto se maggiore è la non equivalenza dei gruppi e quanto più i punteggi del gruppo sono vicini a un polo della scala

regressione differenziale verso la media: quando è più probabile che si presenti in un gruppo (trattamento) piuttosto che nell'altro (controllo)

effetti aspettativa, di diffusione, di novità

anche se i gruppi sono confrontabili pre-test, ciò non assicura che questi siano confrontabili in tutti i modi possibili che risultino rilevanti ai fini dell'esito dello studio

validità esterna: stesso processo deduttivo applicato alle questioni di validità interna; è probabile che uno studio non riesca a rispondere a tutte le domande di ricerca

disegno semplice a serie temporali interrotte

esame di una serie di osservazioni periodicamente, prima e dopo il trattamento

quando i cambiamenti della VD possono essere osservati un po' prima e dopo che è stato applicato il trattamento

O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10

es. introduzione di un nuovo prodotto, attuazione di una nuova riforma sociale, inizio di una speciale campagna elettorale

prove per gli effetti del trattamento si hanno quando vi è discontinuità (cambiamenti repentini nei dati a serie temporali nel momento in cui viene attuato il trattamento)

minacce alla validità interna

effetti della storia (es. variazioni di natura ciclica, come le stagioni)

effetti della strumentazione (devono avvenire contemporaneamente al trattamento)

maturazione, prova e regressione sono eliminate dal fatto che esistano molteplici prove

se le persone hanno fatto test multipli, è probabile che un effetto del trattamento possa riguardare solo quegli individui che hanno fatto test multipli

viene volto un test su persone non selezionate casualmente: è possibile che i risultati siano limitati a chi ha caratteristiche simili

disegno a serie temporali con gruppo di controllo non equivalente

osservazioni prima e dopo il trattamento, sia per il gruppo di trattamento che per il gruppo di controllo

O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10 -------------------- O1 02 O3 O4 O5 O6 O7 O8 O9 O10

Linea tratteggiata= i gruppi non sono stati assegnati casualmente

eliminazione di minacce dovute alla storia

Valutazione di programma

valutazione dell'efficacia delle organizzazioni di servizi alla persona; fornisce feedback agli amministratori sui loro servizi

uso dell'inchiesta

valutazione di bisogni, processo, risultato, efficienza dei servizi sociali

relazione tra ricerca di base e ricerca applicata è reciproca

i veri esperimenti e i quasi esperimenti possono essere degli approcci eccellenti per valutare le riforme sociali, anche per evitare lo spreco di risorse

Quando non è possibile svolgere veri esperimenti

I risultati sono inconcludenti rispetto all’efficacia di un trattamento

Ipotesi: la mancanza di opportunità di prendere decisioni personali contribuisce alla debilitazione fisica e psicologica degli anziani

Istruzioni impartire ai residenti su due piani diversi

Differenze tra misure pre-test e post-test: gruppo di induzione più attivo, contento

Le valutazioni dei risultati possono servirsi di metodi sperimentali e quasi sperimentali per la ricerca in contesti naturali

Efficienza

Costo del programma; le scelte dipendono da quello che il governo o un’altra istituzione sono in grado di erogare

Caso estremo di ricerca applicata

La ricerca di base interpreta e spiega il mondo sociale e umano, conducendo alla ricerca applicata, che influenza e modifica la teoria deduttiva, riportando alla ricerc di base

Uso del metodo sperimentale da parte dei funzionari per identificare i problemi della società ed identificarne le soluzioni