H8: experimentele ontwerpen

Experimentele ontwerpen hebben hun wortels in de natuurwetenschappen waar ze als standaard gelden om tot wetenschappelijke kennis te komen -> experimenten geschikt om tot causale verbanden te komen (variabele X veroorzaakt variabele Y)

Basisidee experimenteel ontwerp: je creëert 2 situaties die slechts op 1 element verschillen en dat is de experimentele stimulus -> verschil tussen die 2 situaties dan is die experimentele stimulus de oorzaak van dat verschil

Galilei: de valverstelling

Aristotelis: objecten vallen met een snelheid die evenredig zijn met hun massa -> zwaardere objecten vallen dus sneller door hun massa

Galilei heeft 2 kanonballen met verschillende massa laten vallen, beide kwamen tegelijk op de grond terecht -> massa speelt geen rol

Newton: valversnelling = constante

Experimenting society = een idee van Campbell dat verwijst naar een samenleving die zich aandient als laboratorium waarin sociale interventies via experimenteel onderzoek getest worden op hun merites/nut

Veldexperiment = het toedienen van de experimentele stimulus gebeurt in een natuurlijke en dus moeilijk beheersbare setting -> moeilijk om relevante kenmerken te isoleren/controleren + moeilijk beheersbare setting

Laboratoriumexperiment = het toedienen van de experimentele stimulus vindt plaats in de strikt controleerbare, maar hoogst artificiële omgeving van het laboratorium -> moeilijk om relevante kenmerken te manipuleren vb. opleiding, gezinssamenstelling etc.

Onderdelen van het klassieke experimentele ontwerp

Stimulus = ook wel experimentele manipulatie genoemd (variërend kenmerk); de factor die de onderzoeker toedient aan de proefpersonen in de experimentele groep, en waarin de experimentele groep dus verschilt van de vergelijkingsgroep

Experimentele groep = de groep individuen die op gecontroleerde wijze de experimentele stimulus toegediend krijgt

Vergelijkingsgroep = de groep individuen die de experimentele stimulus niet toegediend krijgt

Basisschema klassiek experiment

Conditie = de situatie of omstandigheid in een experiment waarin ofwel de stimulus wordt toegediend (experimentele conditie) ofwel niet (controleconditie)

Schema klassiek experiment

Experimentele groep = Xe

Vergelijkingsgroep/controlegroep = Xc -> geen stimulus of alternatief op stimulus

R = randomisering (proefpersonen worden op toevallige wijze verdeeld onder experimentele en vergelijkingsgroep -> statisch equivalent: ook op kenmerken die niet gemeten zijn)

Q11 en Q21 = voormeting

Q12 en Q22 = nameting

Randomiseren en matchen

Vergelijkbare of gelijkaardige groepen -> randomiseren

Randomiseren = de procedure binnen een experimenteel ontwerp waarbij op toevalsbasis proefpersonen worden toegewezen aan de verschillende condities, zodat er statistisch equivalente groepen worden gecreëerd (de groepen zijn perfect vergelijkbaar, op toevalsfouten en stimulus na)

Beide groepen zijn aan elkaar gelijkwaardig, ook op kenmerken die niet gemeten zijn

Je schakelt systematische verschillen tussen groepen uit

Controlegroep/vergelijkingsgroep op basis van toevallige toewijzing

Kenmerken die vastkleven aan een persoon kan je niet toevallig toewijzen

-> bij een beperkt aantal proefpersonen is randomisering niet optimaal -> alternatieve werkwijze nodig

Controlegroep = een vergelijkingsgroep die samengesteld is op basis van randomisering

Matchen = een procedure binnen een experimenteel ontwerp om op basis van relevant geachte kenmerken vergelijkbare groepen samen te stellen -> niet zo vaak gebruikt

Precisie- of paarsgewijs matchen = een type matching waarbij je voor elke combinatie van kenmerken bij een lid van de experimentele groep zorgt voor eenzelfde combinatie van kenmerken in de vergelijkingsgroep -> tweeling

Frequentie- of groepsmatchen = een type matching waarbij je enkel rekening houdt met elk kenmerk afzonderlijk, niet met de combinatie van kenmerken

Zwak matchen = een type matching waarbij je alleen rekening houdt met de vergelijkbaarheid van het gemiddelde en/of de spreiding van een reeks kenmerken tussen de verschillende condities

Praktisch -> uitdaging: strenge voorwaarden experiment

2 meetmomenten

2 gerandomiseerde groepen

Effect van de stimulus

Effect van stimulus X -> je kan dit op 2 manieren berekenen (effect uitzuiveren door alle veranderingen die niks met de stimulus te hebben niet in rekening te brengen)

Verschil tussen de voor- en nametingen van de experimentele groep

Bruto-effect van stimulus Xe = observatie 11 - observatie 12

Alle veranderingen die zijn opgetreden zonder de stimulus nog eens aftrekken door de vergelijkingsgroep te vergelijken -> observatie 22 - observatie 21

Netto-effect van stimulus Xe = (observatie 11-12) - (observatie 22-21)

Verschil tussen de experimentele en vergelijkingsgroep in de nameting

Ondanks de randomisering kunnen de groepen al verschillen voor het toedienen van de stimulus; het zijn die eventuele groepsverschillen die worden gecapteerd door de voormetingen van elkaar af te trekken -> observatie 11 - observatie 21

Netto-effect van stimulus Xe = (observatie 12-22) - (observatie 11-21)

Bruto-effect = observatie 12 - observatie 22

Voormeting

Voormeting = de meting van de score op de afhankelijke variabele in alle condities voor de stimulus wordt toegediend; gaat statistische equivalentie van individuen in diverse condities na

Becijferen of de randomisering geslaagd is -> zijn de vergelijkingsgroep en experimentele groep equivalent aan elkaar?

Testeffect/practice effect (interne geldigheid)

Interactie-effect (externe geldigheid)

Soms is een voormeting onmogelijk -> in zulke gevallen kan je gebruik maken van een ontwerp zonder voormeting en enkel een nameting

Voormeting zorgt voor praktische ervaring

Potentieel gevaar: voormeting kan invloed uitoefenen op score in de nameting vb. consistent willen zijn

Externe validiteit (veralgemeenbaarheid in het gedrag): vragen in voormeting kunnen ervoor zorgen dat ze er meer aandacht aan gaan schenken -> gevoeliger voor experimentele stimulus

Aan- of afwezigheid voormeting kan mensen bewuster maken van de stimulus

Solomon vier-groepen ontwerp

Opinie- en marketingonderzoek

Functie voormeting = nagaan of experimentele groep en vergelijkingsgroep statistisch equivalent zijn -> nadelen kan je inschatten met solomon vier-groepen model

Model om vertekening bij interactie-effecten tegen te gaan -> impact van voormeting becijferen

Met het solomon ontwerp kan je nagaan of er een effect is van de voormeting en hoe groot dat is

Veeleisend design: 2 groepen zonder voormeting toevoegen aan klassieke experiment

Rekening houdend met effect van voormeting

Zowel het testeffect als het interactie-effect van de stimulus wordt met een voormeting becijferd

Voegt 2 groepen toe aan het klassieke ontwerp telkens met randomisering

Experimentele conditie zonder voormeting

Controleconditie zonder voormeting

Als voormeting geen effect heeft dan zouden Q12 en 31 + O22 en 42 gelijk moeten zijn -> inschatten of er effect is van de grootmeting en hoe groot dat effect is

Indien gelijkend en slechts op toevalsfouten verschillend -> geen effect van voormeting

Indien score wel verschillend -> voormeting heeft een effect gehad op afhankelijke variabele

Indien stimulus effect heeft -> O12 > O11 en O22; O32 > 042 en O21

Bedreigingen van de interne geldigheid

Je kan niet met zekerheid de verandering in de afhankelijke variabele toeschrijven aan de experimentele stimulus -> er zijn andere verklaringen en bedreigingen mogelijk

Alle storende factoren uitzuiveren via de voor- en nametingen zodat effect alleen toe te wijzen is aan experimentele stimuli

Sommige experimentele ontwerpen voldoen niet aan alle eisen van klassiek experiment -> quasi- of pre-experimentele ontwerpen

Geen voormeting

Geen randomisering

Geen vergelijkgsgroep

Of combinatie

Bedreiging interne validiteit: indien ander kenmerk de score op de afhankelijke variabele gaat sturen -> storende factoren in experimenteel onderzoek = confounding variables

Buitenexperimentele gebeurtenissen

Buitenexperimentele gebeurtenissen = gebeurtenissen die tussen de voor- en nameting optreden, los van de stimulus, en die een bedreiging kunnen vormen voor de interne validiteit -> kunnen de scores op de afhankelijke variabele beïnvloeden

Hoe groter de periode tussen de voor- en nameting, hoe meer kans op buitenexperimentele gebeurtenissen

Maturatie of spontane veranderingen

Local history/intra-session history = unieke gebeurtenissen die zich enkel in de vergelijkingsgroep voordoen en doorgaan als alternatieve verklaring voor het effect van de stimulus -> deze gebeurtenissen bedreigen de geldigheid als ze op één of andere manier samenhangen met de afhankelijke variabele

Maturatie = het proces waarbij proefpersonen gedurende de looptijd van een experiment spontaan veranderen op psychologisch, biologisch of emotioneel vlak

De verandering heeft dan niks met de stimulus ta maken maar wel met spontane veranderingen ten gevolge van het verlopen van de tijd

Testeffect

Testeffect = het ondergaan van een voormeting heeft een invloed op de scores in de nameting

Practice effect = een vorm van testeffect die verwijst naar het beter scoren op een test omdat proefpersonen zich de testprocedure eigen hebben gemaakt

Instrumentatie

Instrumentatie = een bedreiging voor de interne geldigheid door veranderingen in de betrouwbaarheid van het gebruikte meetinstrument

Statistische regressie

Statistische regressie = door toeval zullen grote toevalsfouten in de voormeting niet meer voorkomen in de nameting en zullen de extreem lage scores uit de voormeting sowieso in de richting van het gemiddelde evolueren in de nameting, los van de stimulus

Wanneer groepen geselecteerd zijn op extreem hoge of lage score; kans is bij nameting dat bij zulke groepen een tendens is om meer naar gemiddelde te scoren

Selectie

Selectie = een verschillende samenstelling van de experimentele en de vergelijkingsgroep -> samenstelling van experimentele groep en vergelijkingsgroep verschilt dus groepen zijn niet equivalent

Uitval

Uitval = ook experimentele mortaliteit genoemd; personen vallen uit of haken af tijdens de duur van het experiment

Geen probleem als uitval toevallig gespreid is over de verschillende condities

Uitval selectief: als mensen met andere kenmerken uitvallen in de experimentele en vergelijkgingsgroep

Differentiële uitval = de uitval is afhankelijk van de condities en/of van kenmerken van de proefpersonen die samenhangen met de score op de afhankelijke variabele -> interne geldigheid bedreigd

Verwachtingen van de onderzoeker

Verwachtingen van de onderzoeker = het projecten door de onderzoeker van zijn of haar verwachtingen over de uitkomst van het experiment op de proefpersonen, die zich hierdoor laten beïnvloeden

Double-blind experiment = noch de proefleider, noch de proefpersonen zijn op de hoogte van de details van het experiment (of ze tot de experimentele of de vergelijkingsgroep horen) en de onderzochte hypothese -> placebo effect neutraliseren

Blind experiment = het feit dat de proefpersonen niet weten of ze tot de experimentele dan wel de vergelijkingsgroep behoren, noch welke de hypothese is die het onderzoek stuurt

Placebo = een stimulus die geen werkzame bestanddelen heeft, maar die enkel vormelijk gelijkt op de echte stimulus -> positief psychisch effect dat optreedt door vertrouwen in de behandeling en niet door de werkzame bestanddelen in de stimulus

Bedreigingen van de externe geldigheid

Externe geldigheid (veralgemeenbaarheid) -> in hoeverre kan je bevindingen in een experiment veralgemenen naar de echte sociale werkelijkheid binnen de strikte context van de experimentele situatie

Als resultaten uit een experiment niet veralgemeenbaar zijn dan vermindert hun aantrekkingskracht voor de sociale wetenschap (ookal is er sterke interne geldigheid)

Externe validiteit heeft betrekking op 2 zaken -> mate waarin resultaten van een experiment veralgemeenbaar zijn naar

Een ruimere populatie

Een natuurlijke levensechte setting buiten de strikt geconcentreerde artificiële context van het labo -> populatie- en naturalistische validiteit

Populatiegeldigheid

Populatiegeldigheid = de mate waarin je de resultaten van een experiment dat uitgevoerd is bij een specifieke steekproef van proefpersonen, kan veralgemenen naar een ruimere populatie

Veel experimenten gebeuren bij studenten psychologie -> daarom worden veel proefpersonen WEIRDs genoemd

Western

Educated

Industrialized

Rich

Democratic Societies

Naturalistische geldigheid (ecological validity)

Naturalistische validiteit = de mate waarin de resultaten/bevindingen uit een artificiële experimentele situatie kan doortrekken naar de echte sociale wereld

Relevante begrippen

Alledaags realisme = houdt verband met naturalistische validiteit en verwijst naar de mate waarin experimentele condities lijken op situaties die je ook in het dagelijkse leven terugvindt

Mate waarin experimentele condities lijken op situaties die je ook in het alledaagse leven terugvindt -> externe geldigheid vergroot als dit realisme groter is (bij veldexperiment is dit groter dan een labo-experiment)

Reactiviteit = Hawthorne-effect (fabriek waar effect voor eerst werd vastgesteld) -> de mate waarin mensen zich anders gedragen in een experimentele setting dan in de echte wereld, precies omdat ze er zich bewust van zijn dat ze deel uitmaken van een studie

Effect op afhankelijke variabele als gevolg van de aandacht van onderzoekers

Alternatieven op klassieke experimentele ontwerpen

Broken windows theory: zorgt aanwezigheid normovertrend handelen voor andere normovertredingen? -> graffiti-steegje

Niet altijd mogelijk om aan strenge eisen klassiek experiment te voldoen: 2 groepen randomisering -> alternatieven maar met lagere interne geldigheid

Quasi-experimentele ontwerpen

Quasi-experimenteel ontwerp = een experimenteel ontwerp dat afwijkt van het klassieke design, ofwel doordat er geen randomisering mogelijk is ofwel doordat er geen heuse vergelijkingsgroep is vastgesteld

Tijdsreekontwerp = herhaaldelijk en op regelmatige basis meten van scores op een afhankelijke variabele in één enkele condities -> geen vergelijkingsgroep

Komen vaak voor

Buitenexperimentele gebeurtenissen vormen bedreiging voor interne validiteit -> als je niet kan controleren voor gebeurtenissen die ongeveer gelijk met de experimentele stimulus plaatsvinden, dan kan je rivaliserende verklaringen nooit met zekerheid ontkrachten

Doorgaans door lange tijdsperiode (met seizoensfluctuaties) -> door herhaalde metingen over een langere periode kunnen bedreigingen van interne geldigheid beter ingeschat worden (maturatie, interactie en testeffect)

Laggged effect = een uitgesteld effect van de stimulus bij een tijdreeksontwerp

Niet-equivalent ontwerp met vergelijkingsgroep = lijkt op klassiek ontwerp maar randomisering heeft niet plaatsgevonden -> geen R voor de groepen

Geen zekerheid over equivalentie tussen 2 groepen

Gaat meestal over bestaande groepen

Voordeel: via voormeting inschatten op welke kenmerken groepen equivalent zijn en welke niet

Grootste bedreiging voor interne geldigheid

Interactie-effect tussen selectie en maturatie: misschien ontwikkelen groepen zich in een verschillend tempo

Interactie-effect tussen selectie en statische regressie: verschil in scores niet enkel toe te schrijven aan de experimentele stimulus maar ook aan de gevolgen van statistische regressie

Afzonderlijke steekproef ontwerp met voor- en nameting

Geen vergelijkingsgroep: je kan geen deel van de bevolking als vergelijkingsgroep laten fungeren omdat je niet kan zorgen dat iemand de experimentele stimulus niet ontvangt

Effecten van grootschalige publiciteits- en mediacampagnes in te schatten

De volledige bevolking is de doelgroep

2 equivalente subgroepen

Weinig garanties op interne geldigheid, maar vaak enige mogelijk om effecten na te gaan

Gevoelig voor buitenexperimentele gebeurtenissen, maturatie en uitval

Bedreiging op interne geldigheid wordt groter naarmate periode tussen O1 en O2 toeneemt

Je kan de effecten niet inschatten want je hebt geen vergelijkingsgroep zonder de experimentele stimulus

Pre-experimentele ontwerpen

Pre-experimenteel ontwerp = een experimenteel ontwerp dat sterk afwijkt van het klassieke design, gekenmerkt door een combinatie van een gedrag aan randomisering, het ontbreken van een heuse voor- en nameting en/of de afwezigheid van een vergelijkingsgroep -> bedreiging voor interne geldigheid nog groter maar grotere praktische haalbaarheid

Groep met alleen nameting (one-shot case study)

Minimale referentiepunt voor experimentele ontwerpen

Basisonderdelen ontbreken

Inschatting van mogelijke effecten van beleidsmaatregelen op de waargenomen resultaten

Geen vergelijking mogelijk

Groep met voor- en nameting (one-group pretest-posttest design)

Interne geldigheid in gedrag

Slechts 1 conditie: experimentele groep

Nadeel: verschillen tussen observatie 1 en 2 niet enkel te denken aan stimulus X maar ook aan externe factoren -> die effecten kan je niet inschatten omdat je geen vergelijkingsgroep hebt

Gevoelig voor maturatie, uitval, buitenexperimentele gebeurtenissen, testeffect, instrumentatie en statistische regressie

Bestaande groepen met alleen nameting (static-grooup comparison design)

Voormeting en randomisering ontbreken

Selectie, differentiële rekrutering of uitval

Ethische bekommernissen

Principe van beneficence = een ethisch principe bij wetenschappelijk onderzoek dat het vermijden van schade toebrengen vooropstelt

Respect voor personen -> informed consent: individuen moeten beschouwd en behandeld worden als autonome actoren en mensen met een verminderde autonomie moet worden beschermd

Idee van rechtvaardigheid: afweging tussen zij die de voordelen van het onderzoek ontvangen en diegene die er de lasten van dragen