Hoofdstuk 7: Validiteit en betrouwbaarheid
Validiteit
Geldigheid van de operationalisatie.
Het is geen absoluut gegeven.
Gezichtsvaliditeit : Meet de test op het eerste zicht wat hij bedoeld te meten?
Inhoudsvaliditeit: Zijn de items representatief voor het begrip?
Observatiesysteem: categorieën - uitputtend en uitsluitend - systematische fouten?
Bestaand materiaal
Criterium validiteit
Hangen de scores samen met een extern criterium?
Concurrente validiteit (criterium heden/verleden)
Predictieve validiteit (criterium toekomst)
Congruente validiteit (criterium is vergelijkbare test)
Begripsvaliditeit
Het begrijpen van het onderliggend theoretisch construct van wat we meten.
Hoe goed begrijpen we het construct?
Convergente validiteit
Discriminante validiteit
Constrasteren van a priori bepaalde groepen
Structuur van een latent construct
Kan heel breed gaan.
Criterium validiteit kan hier onder vallen.
Hypothese maken en toetsen, dit bevestigen of verwerpen.
Meten of verschillende dimensies in deelaspecten naar voor komen.
Betrouwbaarheid
= toevalsfout
Onderzoek is nooit 100% nauwkeurig, er zit altijd een meetfout in..
stabiliteit <-> interne consistentie
Test-hertest betrouwbaarheid
Normaal = een sterke samenhang bij nauwkeurige metingen, maar hier is nog altijd mogelijks toeval.
Vereist een stabiel kenmerk voor een stabiel/ sterk verband.
Tijdinterval?
Parallel betrouwbaarheid
Twee testen, maar niet twee keer het zelfde instrument.
= Twee parallel vormen van één instrument.
Het is telkens opgebouwd volgens dezelfde structuur.
Een goede paralleltest maken is een hele uitdaging.
Interne consistentie
1 test of instrument
Alle items consistent hetzelfde meten, dus maakt niet uit welke combinatie voor totaalscore of een item weglaten.
Betrouwbaar bij sterke samenhang.
Inter - en intrabeoordelaarsbetrouwbaarheid
Proportie overeenstemmingen tussen beoordelaars en resultaten.
aantal overeenstemmingen : (aantal overeenstemmingen + aantal niet-overeenstemmingen)
Nauwkeurig is een hoge overeenstemming.
Dit werkt goed bij min of meer dezelfde cijfers.
Categorieën moeten ongeveer gelijk verdeelt zijn.
Alternatief: kappa-coëfficiënt
Doet een weging om te vermijden dat er één doorweegt, voorkomt onevenwichtigheid.
Meten van variabelen
manieren om te meten (combineerbaar): tests - vragenlijsten - observatie - bestaand materiaal
Gemotiveerde keuze op basis van:
onderzoeksonderwerp
doelstelling
onderzoeksvraag
Onderzoeksontwerp
= de manier waarop onderzoek wordt opgezet.
Onderzoekselementen (steekproeftrekking)
Variabelen (meten van variabelen - meetinstrumenten - validiteit en betrouwbaarheid)
Selectie van het onderzoeksdesign (experimenteel vs. correlationeel design)
Onderzoeksdesign
Hangt af van het soort onderzoeksvraag.
Beschrijvend/relationeel (correlationeel onderzoek) <-> Causaal/evaluerend (experimenteel onderzoek)
Correlationeel onderzoek: cross-sectioneel design, longitudinaal design, panel design --> interesse in samenhang
Experimenteel onderzoek: tussen-subject design, binnen-subject design, posttest-only design, pretest-posttest design, solomon 4 groep design, factorieel design, N=1 experiment --> oorzaak/gevolg
Causaliteit
Variatie in OV produceert variatie in AF
OORZAAK - GEVOLG
Criteria:
samenhang oorzaak (OV) en gevolg (AV)
oorzaak gaat in tijd vooraf aan het gevolg
geen storende factoren kunnen verband tussen oorzaak en gevolg verklaren.