Please enable JavaScript.
Coggle requires JavaScript to display documents.
H8: experimentele ontwerpen - Coggle Diagram
H8: experimentele ontwerpen
Experimentele ontwerpen hebben hun wortels in de natuurwetenschappen waar ze als standaard gelden om tot wetenschappelijke kennis te komen -> experimenten geschikt om tot causale verbanden te komen (variabele X veroorzaakt variabele Y)
Basisidee experimenteel ontwerp: je creëert 2 situaties die slechts op 1 element verschillen en dat is de experimentele stimulus -> verschil tussen die 2 situaties dan is die experimentele stimulus de oorzaak van dat verschil
Galilei: de valverstelling
Aristotelis: objecten vallen met een snelheid die evenredig zijn met hun massa -> zwaardere objecten vallen dus sneller door hun massa
Galilei heeft 2 kanonballen met verschillende massa laten vallen, beide kwamen tegelijk op de grond terecht -> massa speelt geen rol
Newton: valversnelling = constante
Experimenting society = een idee van Campbell dat verwijst naar een samenleving die zich aandient als laboratorium waarin sociale interventies via experimenteel onderzoek getest worden op hun merites/nut
Veldexperiment = het toedienen van de experimentele stimulus gebeurt in een natuurlijke en dus moeilijk beheersbare setting -> moeilijk om relevante kenmerken te isoleren/controleren + moeilijk beheersbare setting
Laboratoriumexperiment = het toedienen van de experimentele stimulus vindt plaats in de strikt controleerbare, maar hoogst artificiële omgeving van het laboratorium -> moeilijk om relevante kenmerken te manipuleren vb. opleiding, gezinssamenstelling etc.
Onderdelen van het klassieke experimentele ontwerp
Stimulus = ook wel experimentele manipulatie genoemd (variërend kenmerk); de factor die de onderzoeker toedient aan de proefpersonen in de experimentele groep, en waarin de experimentele groep dus verschilt van de vergelijkingsgroep
Experimentele groep = de groep individuen die op gecontroleerde wijze de experimentele stimulus toegediend krijgt
Vergelijkingsgroep = de groep individuen die de experimentele stimulus niet toegediend krijgt
Basisschema klassiek experiment
Conditie = de situatie of omstandigheid in een experiment waarin ofwel de stimulus wordt toegediend (experimentele conditie) ofwel niet (controleconditie)
Schema klassiek experiment
Experimentele groep = Xe
Vergelijkingsgroep/controlegroep = Xc -> geen stimulus of alternatief op stimulus
R = randomisering (proefpersonen worden op toevallige wijze verdeeld onder experimentele en vergelijkingsgroep -> statisch equivalent: ook op kenmerken die niet gemeten zijn)
Q11 en Q21 = voormeting
Q12 en Q22 = nameting
Randomiseren en matchen
Vergelijkbare of gelijkaardige groepen -> randomiseren
Randomiseren = de procedure binnen een experimenteel ontwerp waarbij op toevalsbasis proefpersonen worden toegewezen aan de verschillende condities, zodat er statistisch equivalente groepen worden gecreëerd (de groepen zijn perfect vergelijkbaar, op toevalsfouten en stimulus na)
Beide groepen zijn aan elkaar gelijkwaardig, ook op kenmerken die niet gemeten zijn
Je schakelt systematische verschillen tussen groepen uit
Controlegroep/vergelijkingsgroep op basis van toevallige toewijzing
Kenmerken die vastkleven aan een persoon kan je niet toevallig toewijzen
-> bij een beperkt aantal proefpersonen is randomisering niet optimaal -> alternatieve werkwijze nodig
Controlegroep = een vergelijkingsgroep die samengesteld is op basis van randomisering
Matchen = een procedure binnen een experimenteel ontwerp om op basis van relevant geachte kenmerken vergelijkbare groepen samen te stellen -> niet zo vaak gebruikt
Precisie- of paarsgewijs matchen = een type matching waarbij je voor elke combinatie van kenmerken bij een lid van de experimentele groep zorgt voor eenzelfde combinatie van kenmerken in de vergelijkingsgroep -> tweeling
Frequentie- of groepsmatchen = een type matching waarbij je enkel rekening houdt met elk kenmerk afzonderlijk, niet met de combinatie van kenmerken
Zwak matchen = een type matching waarbij je alleen rekening houdt met de vergelijkbaarheid van het gemiddelde en/of de spreiding van een reeks kenmerken tussen de verschillende condities
Praktisch -> uitdaging: strenge voorwaarden experiment
2 meetmomenten
2 gerandomiseerde groepen
Effect van de stimulus
Effect van stimulus X -> je kan dit op 2 manieren berekenen (effect uitzuiveren door alle veranderingen die niks met de stimulus te hebben niet in rekening te brengen)
Verschil tussen de voor- en nametingen van de experimentele groep
Bruto-effect van stimulus Xe = observatie 11 - observatie 12
Alle veranderingen die zijn opgetreden zonder de stimulus nog eens aftrekken door de vergelijkingsgroep te vergelijken -> observatie 22 - observatie 21
Netto-effect van stimulus Xe = (observatie 11-12) - (observatie 22-21)
Verschil tussen de experimentele en vergelijkingsgroep in de nameting
Ondanks de randomisering kunnen de groepen al verschillen voor het toedienen van de stimulus; het zijn die eventuele groepsverschillen die worden gecapteerd door de voormetingen van elkaar af te trekken -> observatie 11 - observatie 21
Netto-effect van stimulus Xe = (observatie 12-22) - (observatie 11-21)
Bruto-effect = observatie 12 - observatie 22
Voormeting
Voormeting = de meting van de score op de afhankelijke variabele in alle condities voor de stimulus wordt toegediend; gaat statistische equivalentie van individuen in diverse condities na
Becijferen of de randomisering geslaagd is -> zijn de vergelijkingsgroep en experimentele groep equivalent aan elkaar?
Testeffect/practice effect (interne geldigheid)
Soms is een voormeting onmogelijk -> in zulke gevallen kan je gebruik maken van een ontwerp zonder voormeting en enkel een nameting
Voormeting zorgt voor praktische ervaring
Potentieel gevaar: voormeting kan invloed uitoefenen op score in de nameting vb. consistent willen zijn
Interactie-effect (externe geldigheid)
Externe validiteit (veralgemeenbaarheid in het gedrag): vragen in voormeting kunnen ervoor zorgen dat ze er meer aandacht aan gaan schenken -> gevoeliger voor experimentele stimulus
Aan- of afwezigheid voormeting kan mensen bewuster maken van de stimulus
Solomon vier-groepen ontwerp
Opinie- en marketingonderzoek
Functie voormeting = nagaan of experimentele groep en vergelijkingsgroep statistisch equivalent zijn -> nadelen kan je inschatten met solomon vier-groepen model
Model om vertekening bij interactie-effecten tegen te gaan -> impact van voormeting becijferen
Met het solomon ontwerp kan je nagaan of er een effect is van de voormeting en hoe groot dat is
Veeleisend design: 2 groepen zonder voormeting toevoegen aan klassieke experiment
Rekening houdend met effect van voormeting
Zowel het testeffect als het interactie-effect van de stimulus wordt met een voormeting becijferd
Voegt 2 groepen toe aan het klassieke ontwerp telkens met randomisering
Experimentele conditie zonder voormeting
Controleconditie zonder voormeting
Als voormeting geen effect heeft dan zouden Q12 en 31 + O22 en 42 gelijk moeten zijn -> inschatten of er effect is van de grootmeting en hoe groot dat effect is
Indien gelijkend en slechts op toevalsfouten verschillend -> geen effect van voormeting
Indien score wel verschillend -> voormeting heeft een effect gehad op afhankelijke variabele
Indien stimulus effect heeft -> O12 > O11 en O22; O32 > 042 en O21
Bedreigingen van de interne geldigheid
Je kan niet met zekerheid de verandering in de afhankelijke variabele toeschrijven aan de experimentele stimulus -> er zijn andere verklaringen en bedreigingen mogelijk
Alle storende factoren uitzuiveren via de voor- en nametingen zodat effect alleen toe te wijzen is aan experimentele stimuli
Sommige experimentele ontwerpen voldoen niet aan alle eisen van klassiek experiment -> quasi- of pre-experimentele ontwerpen
Geen voormeting
Geen randomisering
Geen vergelijkgsgroep
Of combinatie
Bedreiging interne validiteit: indien ander kenmerk de score op de afhankelijke variabele gaat sturen -> storende factoren in experimenteel onderzoek = confounding variables
Buitenexperimentele gebeurtenissen
Buitenexperimentele gebeurtenissen = gebeurtenissen die tussen de voor- en nameting optreden, los van de stimulus, en die een bedreiging kunnen vormen voor de interne validiteit -> kunnen de scores op de afhankelijke variabele beïnvloeden
Hoe groter de periode tussen de voor- en nameting, hoe meer kans op buitenexperimentele gebeurtenissen
Local history/intra-session history = unieke gebeurtenissen die zich enkel in de vergelijkingsgroep voordoen en doorgaan als alternatieve verklaring voor het effect van de stimulus -> deze gebeurtenissen bedreigen de geldigheid als ze op één of andere manier samenhangen met de afhankelijke variabele
Maturatie of spontane veranderingen
Maturatie = het proces waarbij proefpersonen gedurende de looptijd van een experiment spontaan veranderen op psychologisch, biologisch of emotioneel vlak
De verandering heeft dan niks met de stimulus ta maken maar wel met spontane veranderingen ten gevolge van het verlopen van de tijd
Testeffect
Testeffect = het ondergaan van een voormeting heeft een invloed op de scores in de nameting
Practice effect = een vorm van testeffect die verwijst naar het beter scoren op een test omdat proefpersonen zich de testprocedure eigen hebben gemaakt
Instrumentatie
Instrumentatie = een bedreiging voor de interne geldigheid door veranderingen in de betrouwbaarheid van het gebruikte meetinstrument
Statistische regressie
Statistische regressie = door toeval zullen grote toevalsfouten in de voormeting niet meer voorkomen in de nameting en zullen de extreem lage scores uit de voormeting sowieso in de richting van het gemiddelde evolueren in de nameting, los van de stimulus
Wanneer groepen geselecteerd zijn op extreem hoge of lage score; kans is bij nameting dat bij zulke groepen een tendens is om meer naar gemiddelde te scoren
Selectie
Selectie = een verschillende samenstelling van de experimentele en de vergelijkingsgroep -> samenstelling van experimentele groep en vergelijkingsgroep verschilt dus groepen zijn niet equivalent
Uitval
Uitval = ook experimentele mortaliteit genoemd; personen vallen uit of haken af tijdens de duur van het experiment
Geen probleem als uitval toevallig gespreid is over de verschillende condities
Uitval selectief: als mensen met andere kenmerken uitvallen in de experimentele en vergelijkgingsgroep
Differentiële uitval = de uitval is afhankelijk van de condities en/of van kenmerken van de proefpersonen die samenhangen met de score op de afhankelijke variabele -> interne geldigheid bedreigd
Verwachtingen van de onderzoeker
Verwachtingen van de onderzoeker = het projecten door de onderzoeker van zijn of haar verwachtingen over de uitkomst van het experiment op de proefpersonen, die zich hierdoor laten beïnvloeden
Double-blind experiment = noch de proefleider, noch de proefpersonen zijn op de hoogte van de details van het experiment (of ze tot de experimentele of de vergelijkingsgroep horen) en de onderzochte hypothese -> placebo effect neutraliseren
Blind experiment = het feit dat de proefpersonen niet weten of ze tot de experimentele dan wel de vergelijkingsgroep behoren, noch welke de hypothese is die het onderzoek stuurt
Placebo = een stimulus die geen werkzame bestanddelen heeft, maar die enkel vormelijk gelijkt op de echte stimulus -> positief psychisch effect dat optreedt door vertrouwen in de behandeling en niet door de werkzame bestanddelen in de stimulus
Bedreigingen van de externe geldigheid
Externe geldigheid (veralgemeenbaarheid) -> in hoeverre kan je bevindingen in een experiment veralgemenen naar de echte sociale werkelijkheid binnen de strikte context van de experimentele situatie
Als resultaten uit een experiment niet veralgemeenbaar zijn dan vermindert hun aantrekkingskracht voor de sociale wetenschap (ookal is er sterke interne geldigheid)
Externe validiteit heeft betrekking op 2 zaken -> mate waarin resultaten van een experiment veralgemeenbaar zijn naar
Een ruimere populatie
Een natuurlijke levensechte setting buiten de strikt geconcentreerde artificiële context van het labo -> populatie- en naturalistische validiteit
Populatiegeldigheid
Populatiegeldigheid = de mate waarin je de resultaten van een experiment dat uitgevoerd is bij een specifieke steekproef van proefpersonen, kan veralgemenen naar een ruimere populatie
Veel experimenten gebeuren bij studenten psychologie -> daarom worden veel proefpersonen WEIRDs genoemd
Western
Educated
Industrialized
Rich
Democratic Societies
Naturalistische geldigheid (ecological validity)
Naturalistische validiteit = de mate waarin de resultaten/bevindingen uit een artificiële experimentele situatie kan doortrekken naar de echte sociale wereld
Relevante begrippen
Alledaags realisme = houdt verband met naturalistische validiteit en verwijst naar de mate waarin experimentele condities lijken op situaties die je ook in het dagelijkse leven terugvindt
Mate waarin experimentele condities lijken op situaties die je ook in het alledaagse leven terugvindt -> externe geldigheid vergroot als dit realisme groter is (bij veldexperiment is dit groter dan een labo-experiment)
Reactiviteit = Hawthorne-effect (fabriek waar effect voor eerst werd vastgesteld) -> de mate waarin mensen zich anders gedragen in een experimentele setting dan in de echte wereld, precies omdat ze er zich bewust van zijn dat ze deel uitmaken van een studie
Effect op afhankelijke variabele als gevolg van de aandacht van onderzoekers
Alternatieven op klassieke experimentele ontwerpen
Niet altijd mogelijk om aan strenge eisen klassiek experiment te voldoen: 2 groepen randomisering -> alternatieven maar met lagere interne geldigheid
Quasi-experimentele ontwerpen
Quasi-experimenteel ontwerp = een experimenteel ontwerp dat afwijkt van het klassieke design, ofwel doordat er geen randomisering mogelijk is ofwel doordat er geen heuse vergelijkingsgroep is vastgesteld
Tijdsreekontwerp = herhaaldelijk en op regelmatige basis meten van scores op een afhankelijke variabele in één enkele condities -> geen vergelijkingsgroep
Komen vaak voor
Buitenexperimentele gebeurtenissen vormen bedreiging voor interne validiteit -> als je niet kan controleren voor gebeurtenissen die ongeveer gelijk met de experimentele stimulus plaatsvinden, dan kan je rivaliserende verklaringen nooit met zekerheid ontkrachten
Doorgaans door lange tijdsperiode (met seizoensfluctuaties) -> door herhaalde metingen over een langere periode kunnen bedreigingen van interne geldigheid beter ingeschat worden (maturatie, interactie en testeffect)
Laggged effect = een uitgesteld effect van de stimulus bij een tijdreeksontwerp
Niet-equivalent ontwerp met vergelijkingsgroep = lijkt op klassiek ontwerp maar randomisering heeft niet plaatsgevonden -> geen R voor de groepen
Geen zekerheid over equivalentie tussen 2 groepen
Gaat meestal over bestaande groepen
Voordeel: via voormeting inschatten op welke kenmerken groepen equivalent zijn en welke niet
Grootste bedreiging voor interne geldigheid
Interactie-effect tussen selectie en maturatie: misschien ontwikkelen groepen zich in een verschillend tempo
Interactie-effect tussen selectie en statische regressie: verschil in scores niet enkel toe te schrijven aan de experimentele stimulus maar ook aan de gevolgen van statistische regressie
Afzonderlijke steekproef ontwerp met voor- en nameting
Geen vergelijkingsgroep: je kan geen deel van de bevolking als vergelijkingsgroep laten fungeren omdat je niet kan zorgen dat iemand de experimentele stimulus niet ontvangt
Effecten van grootschalige publiciteits- en mediacampagnes in te schatten
De volledige bevolking is de doelgroep
2 equivalente subgroepen
Weinig garanties op interne geldigheid, maar vaak enige mogelijk om effecten na te gaan
Gevoelig voor buitenexperimentele gebeurtenissen, maturatie en uitval
Bedreiging op interne geldigheid wordt groter naarmate periode tussen O1 en O2 toeneemt
Je kan de effecten niet inschatten want je hebt geen vergelijkingsgroep zonder de experimentele stimulus
Pre-experimentele ontwerpen
Pre-experimenteel ontwerp = een experimenteel ontwerp dat sterk afwijkt van het klassieke design, gekenmerkt door een combinatie van een gedrag aan randomisering, het ontbreken van een heuse voor- en nameting en/of de afwezigheid van een vergelijkingsgroep -> bedreiging voor interne geldigheid nog groter maar grotere praktische haalbaarheid
Groep met alleen nameting (one-shot case study)
Minimale referentiepunt voor experimentele ontwerpen
Basisonderdelen ontbreken
Inschatting van mogelijke effecten van beleidsmaatregelen op de waargenomen resultaten
Geen vergelijking mogelijk
Groep met voor- en nameting (one-group pretest-posttest design)
Interne geldigheid in gedrag
Slechts 1 conditie: experimentele groep
Nadeel: verschillen tussen observatie 1 en 2 niet enkel te denken aan stimulus X maar ook aan externe factoren -> die effecten kan je niet inschatten omdat je geen vergelijkingsgroep hebt
Gevoelig voor maturatie, uitval, buitenexperimentele gebeurtenissen, testeffect, instrumentatie en statistische regressie
Bestaande groepen met alleen nameting (static-grooup comparison design)
Voormeting en randomisering ontbreken
Selectie, differentiële rekrutering of uitval
Broken windows theory: zorgt aanwezigheid normovertrend handelen voor andere normovertredingen? -> graffiti-steegje
Ethische bekommernissen
Principe van beneficence = een ethisch principe bij wetenschappelijk onderzoek dat het vermijden van schade toebrengen vooropstelt
Respect voor personen -> informed consent: individuen moeten beschouwd en behandeld worden als autonome actoren en mensen met een verminderde autonomie moet worden beschermd
Idee van rechtvaardigheid: afweging tussen zij die de voordelen van het onderzoek ontvangen en diegene die er de lasten van dragen