Please enable JavaScript.
Coggle requires JavaScript to display documents.
H6: kwantitatieve en kwalitatieve meting - Coggle Diagram
H6: kwantitatieve en kwalitatieve meting
Meten = het empirisch vaststellen van verschijnselen die een theoretisch concept zo goed mogelijk weerspiegelen; metingen kunnen zowel kwantitatief als kwalitatief zijn -> meten = weten
Empirisch onderzoek -> we observeren om onze theorieën aan de realiteit af te toetsen
Kloof tussen
Theorieën die in abstracte termen gesteld zijn
Fenomenen die je concreet kan waarnemen
Vb. kwaliteit Universiteit
Het meetproces
Meetproces = complex proces dat uit verschillende stappen bestaat: conceptuele definitie -> operationele definitie -> waargenomen kenmerk
Conceptuele definitie = een ondubbelzinnige omschrijving van een theoretisch concept in al zijn deelaspecten (duidelijk omschrijving); op basis van de conceptuele definitie moeten er indicatoren gekozen worden die het concept zo goed mogelijk vatten
Operationele definitie = een omschrijving van de indicatoren en waarnemingsmethode die nodig is om een bepaald theoretisch concept te meten (set van indicatoren + methode van waarneming)
Operationalisering = vertaling van theoretische concepten in waarneembare indicatoren (onderzoeksvatbaar maken van theoretisch concept) -> observeren kan beginnen
Waargenomen kenmerken = de waarden die je vaststelt op de indicatoren (variabelen)
Bij elke stap kunnen meetfouten voorkomen
Betekenisverenging/betekenisvernauwing = een fout in het meetproces waarbij je een deelaspect van een theoretisch concept niet waarneemt -> treedt op wanneer we een deel van de oorspronkelijke conceptuele definitie niet observeren; indicatoren missen een deelaspect waardoor meting nauwer is
Betekenisverschuiving = een fout in het meetproces waarbij je verschijnselen waarneemt die niet tot de conceptuele definitie behoren -> we nemen ook zaken waar die eigenlijk niet tot de conceptuele definitie behoren; meting is verschoven naar ander concept
Soorten concepten
Hoe moeilijk het is om een begrip te meten, is afhankelijk van de complexiteit en de abstractiegraad van het concept in kwestie -> 2 dimensies
Complexiteit van een model = de mate waarin een concept uit verschillende dimensies of deelaspecten bestaat
Eenvoudig: één dimensie in de conceptuele definitie
Complex: meerdere dimensies in de conceptuele definitie -> alle belangrijke dimensies uit de definitie
Abstractiegraad van een concept = de mate waarin het mogelijk is om een theoretisch concept direct zintuigelijk vast te stellen -> fenomeen zintuigelijk waarneembaar?
Concreet: zintuigelijk waarneembaar -> observeerbaar vb. geboorteakte dus leeftijd
Abstract: niet onmiddellijk zintuigelijk waarneembaar vb. gendergelijkheid
Wie bij operationaliseren van het karakter van een concept niet respecteert, loopt het risico op ongeldige besluiten
Veralgemeningsfout = op basis van een te partiële meting foutieve conclusies trekken over een complex concept vb. dalende kerkbezoeken -> religie verdwijnt
Abstractiefout = op basis van een te concrete indicator foutieve besluiten trekken over een abstract concept vb. meten op basis van één concrete indicator -> best meerdere
Kwantitatieve vs kwalitatieve benaderingen
Kwantitatief-kwalitatief = verwijst naar het onderscheid tussen de soort of aard van een fenomeen vs de mate waarin het naar voor komt
Kwalitatieve metingen = betekenisvolle categorieën; voorwaarden waaraan voldaan moet zijn om tot een bepaalde categorie gerekend te zijn -> constructivisme
Kwantitatieve metingen = gaan na in welke mate iets het geval is; bij hoeveel eenheden een kenmerken voorkomt -> naturalisme
Kwantitatief meten
Uitgangspunt: klassieke testtheorie = een denkkader dat beschrijft hoe observaties onderhevig zijn aan toevallige en systematische meetfouten -> observaties geven geen perfect beeld van de realiteit
X = T + I + e
X = observatie, waargenomen kenmerk (laatste stap in meetproces)
T = true score -> wat we proberen meten (objectieve true realiteit = moeilijk te vatten door meetfouten bij observatie -> waarnemingen zijn geen perfecte weerspiegeling van de werkelijkheid)
I = invalidty of ongeldigheid (systematische fouten)
e = error of onbetrouwbaarheid (toevalsfouten)
X komt nooit helemaal overeen met T door meetfouten I en e
Strategieën om met meetfouten om te springen
Ontwerpen van meetinstrumenten die fouten minimaliseren
Aanwezigheid van fouten opsporen zodat er rekening mee gehouden kan worden bij de conclusies
Kenmerken kwantitatieve variabelen
Kwantitatieve meting probeert theoretisch concept te vertalen naar een getalscore -> uiteenlopend dus we onderscheiden meetniveaus van numerieke variabelen (= aard van relatie tussen variabelen en toegekende getalscore -> hiërarchisch op basis van hoeveelheid precisie)
Nominale variabele = kwantitatieve variabele die uit een eindig aantal categorieën bestaat waartussen geen logische ordening mogelijk is
Eindig aantal categorieën -> arbitraire toekenning van score (onderscheid tussen groepen maar voor de rest willekeurig en geen verdere info)
Geen logische ordening
Aan de categorieën kan je een getal toewijzen
Ordinale variabele = een kwantitatieve variabele waarvan je de categorieën kan ordenen; de afstand tussen de categorieën is niet gedefinieerd
Categorieën kunnen logisch geordend worden
Afstand tussen 2 categorieën is niet gedefinieerd
Categorieën die hoger of beter zijn, krijgen hogere scores
Intervariabele = een kwantitatieve variabele waarbij de afstanden tussen de waarden gedefinieerd zijn
Afstand tussen de 2 categorieën hebben een eenduidige betekenis
Score heeft betekenis op zich (intrinsiek)
Geen absoluut nulpunt
Ratiovariabele = een kwantitatieve variabele waarbij de afstanden tussen de waarden gedefinieerd zijn en het nulpunt absoluut is
Afstanden tussen scores hebben vaste betekenis
Nulpunt
Metrische variabele (interval + ratio) = een kwantitatieve variabele waarbij de getalscores niet arbitrair zijn maar intrinsiek betekenis in zich dragen -> score heeft betekenis op zich; afstand tussen categorieën ligt vast
Continu variabelen = kunnen een groot aantal verschillende waarden aannemen op een continuüm (oneindig) vb. inkomen
Discrete variabelen = kunnen een beperkt mogelijke waarde aannemen en verloopt stapsgewijs vb. aantal vrienden
Schaaltechnieken
Om een abstract kenmerk te operationaliseren, is het aangewezen om meerdere indicatoren te gebruiken -> meerdere metingen voor 1 concept
Brede inhoud van theoretisch concept kan voldoende afgedekt worden
Toevalsfouten hebben elkaar op
Uitdaging: hoe kan er op basis van meerdere indicatoren één enkele schaal geconstrueerd worden
Likertschaal = een meting waarbij respondenten meerdere items beoordelen met behulp van een vast format dat uit meerdere antwoordcategorieën bestaat
Beperkt aantal antwoordmogelijkheden
Vaak in enquêtes
Vaak met een stelling -> helemaal eens tot helemaal oneens
Uiteindelijke schaalscore door de som of het gemiddelde te nemen
Guttmanschaal = een meting gebaseerd op de som van meerdere items met 2 antwoordcategorieën waarvan de items variëren in extremiteit of moeilijkheidsgraad
Items worden gerangschikt naar moeilijkheid/extreemheid
Cumulatief verband tussen de items
Mensen die het eens zijn met moeilijkere items gaan ook akkoord met makkelijkere
Score wordt bepaald door te tellen hoeveel mensen er "ja" hebben geantwoord op de set items
Voordeel: reproduceerbaar -> als je iemands score op de schaal kent kan je het scorepatroon van die persoon op de aparte items reconstrueren
Guttman's reproduceerbaarheidscoëfficiënt -> reproduceerbaar als R minstens 0,90
R = 1 - (totaal aantal fouten/aantal respondenten x items)
Operationaliseren van relaties tussen variabelen
Metingen zijn een middel om na te gaan of verschillende concepten aan elkaar gerelateerd zijn -> ook relaties tussen variabelen moeten geoperationaliseerd worden
Verklarend onderzoek = testen of relaties tussen gemeten concepten overeenstemmen met wat de theorie voorspelt
Soorten variabelen
Manifeste variabelen = variabelen die we rechtstreeks meten aan de hand van één vraag
Latente variabelen = niet zomaar direct te observeren, niet rechtstreeks waarneembaar -> meerdere onrechtstreeks indicatoren nodig
Soorten relaties
Effect-relatie = het ene kenmerk gaat het andere vooraf in de tijd -> er is een variabele die als oorzaak beschouwd wordt en die effect heeft op een andere (gevolg) -> onafhankelijke variabele beïnvloedt de afhankelijke (asymmetrisch)
Samenhang = de 2 fenomenen zijn gelinkt aan elkaar en veranderen samen (symmetrisch) -> een hoge score op X gaat samen met een hoge score op Y en omgekeerd (er is geen variabele die een oorzaak of gevolg is)
Bij meer dan 2 variabelen -> verschillende configuraties
Statistische controle = model waarbij het effect van één variabele op een andere geschat wordt termijn mogelijk storende factoren onder controle gehouden worden
Blijft X een effect hebben op Y als je C constant houdt? -> testen of effect overeind blijft als je een derde factor onder controle houdt (controlevariabele C)
Netto vs bruto effect
Netto effect = effect van X op Y nadat de invloed van C weggefilterd is (na controlevariabele toe te voegen, effect bekijken)
Bruto effect = houdt geen rekening met C
C is vertrekpunt
Driehoek
Mediatie = de relatie tussen 3 kenmerken waarbij het effect van één variabele op een andere via een derde variabele verloopt
Verloopt het effect van X op Y via M (tussenliggende variabele/mediator)?
Mediatiemodel maakt onderscheid tussen rechtstreeks effect van X en onrechtstreeks effect van X
Direct/rechtstreeks effect = rechtstreeks van X naar Y
Indirect/onrechtstreeks effect = onrechtstreeks effect van X dat via M verloopt
Totaal effect = direct + indirect (X -> M -> Y)
Direct effect afwezig -> volledige mediatie
Indirect & direct effect verschillend van 0 -> mediatie partieel
X is vertrekpunt
X beïnvloedt M, dat op zijn beurt een effect heeft op Y
Driehoek
Interactie-effect/moderatie-effect = de relatie tussen 3 kenmerken waarbij de sterkte of het teken van het effect van één variabele op een andere beïnvloed wordt door de waarde van een derde variabele
Verandert het effect van X op Y in functie van W?
Relatie tussen X & Y verschilt door diverse waarden van W (niet constant)
Geen driehoek
Vaak geslacht als moderator
Betrouwbaarheid nagaan
Simpsons paradox = een fenomeen in de statistische analyse waarbij een relatie die in subgroepen van de data aanwezig is, kan verdwijnen of wijzigen van teken wanneer je de subgroepen samen neemt -> speciale vorm van schijnverband: wel direct effect aanwezig maar wordt onzichtbaar gemaakt door tegengesteld indirect effect
Betrouwbaarheid = afwezigheid van toevalsfouten -> zijn bij elke meting een beetje anders
Onbetrouwbaarheid opsporen door herhaaldelijk hetzelfde te meten en de verschillen op te sporen/overeenstemming na te gaan
Verschillende technieken
Test-hertestbetrouwbaarheid = de betrouwbaarheid die vastgesteld wordt door 2 metingen te vergelijken die met een korte tussentijd zijn uitgevoerd bij exact dezelfde personen en met identiek hetzelfde instrument
Test-retest hoog -> sterke correlatie tussen beide resultaten -> betrouwbaarder
Wordt berekend door de correlatie (samenhang)
Betrouwbaarheid weergegeven door correlatiecoëfficiënt -> 1 = perfect en 0,8 = ondergrens
2 assumpties
Er mogen zich geen veranderingen voordoen in de situatie van de respondent
Er moet voldoende tijd tussen de metingen zitten -> geheugeneffect vermijden
Interne consistentie = één tijdstip, verschillende indicatoren voor hetzelfde concept -> zou hetzelfde resultaat moeten hebben om betrouwbaar te zien (onderling voldoende sterke samenhang)
Split-halfbetrouwbaarheid = de betrouwbaarheid die vastgesteld wordt door de samenhang te berekenen tussen 2 helften van een batterij items
Correlatie tussen de gemiddelden op de 2 helften van het meetinstrument
Nadeel: verschillende opdeling in helften kan tot een andere betrouwbaarheid leiden
Conbrachs alfa = de maat voor de interne consistentie van een schaal gebaseerd op de gemiddelde correlatie tussen de indicatoren
Hoe sterk zijn meerdere items binnen één instrument onderling samenhangend?
Alfa = onderlinge samenhang
Dicht bij 1 = sterke interne consistentie
Boven 0,70 = hoog
Betrouwbaarder dan split-half
Nadeel: aantal items in een schaal interne consistentie -> meetinstrument met veel items halen gemakkelijk 0,70
Meetgeldigheid nagaan
Meetvalidatie = in hoeverre bestaat er een overlap tussen het theoretische en het waargenomen concept?
Ongeldigheid in metingen is moeilijker op te sporen
Diverse methoden om meetgeldigheid na te gaan
Inhoudsgeldigheid = een benadering van meetvaliditeit die via theoretische studie nagaat of een instrument de relevante facetten van een theoretisch concept voldoende afdekt
Proces van operationalisering wordt tegen het licht gehouden -> nagaan of de selectie van indicatoren de theoretische inhoud van een concept voldoende afdekt
Kwalitatieve bedanking van meetvaliditeit
Lijkt op indruksgeldigheid
Indruksgeldigheid = een benadering van meetgeldigheid die verwijst naar de vraag of een instrument de indruk wekt datgene te meten waarvoor het ontworpen werd
Beroept zich veeleer op de intuïtie van de onderzoekers in vergelijking met inhoudsgeldigheid waar grond theoretische studie vereist is
Lijkt op inhoudsgeldigheid
Criteriumgeldigheid = meetvaliditeit vastgesteld door de meting te vergelijken met een criterium waarvan de validiteit vaststaat
Hoe beter de meting met het criterium overeenstemt, hoe hoger de geldigheid van de meting -> metingen die beter met het criterium overeenkomen, kennen een hogere criteriumvaliditeit
2 vormen afhankelijk van het criterium die zich in het heden of de toekomst voordoet
Predictieve geldigheid = meetvaliditeit vastgesteld door na te gaan hoe goed een meting een latere gebeurtenis voorspelt
We gaan na in welke mate een meting erin slaagt een meting die in de toekomst ligt, te voorspellen
Als een meting een grote voorspellende kracht heeft, nemen we aan dat het goed zit met de geldigheid
Gelijktijdige geldigheid = meetvaliditeit vastgesteld door de meting te vergelijken met een criterium dat beschikbaar is op het moment dat je de meting uitvoert
Nadeel: indien het oorspronkelijk instrument niet valide is, kan je geen eenduidige conclusies over kwaliteit van het nieuwe instrument trekken
Hoe goed komt de meting overeen met een ander geldig instrument (waarvan de geldigheid vast staat)
Begripsgeldigheid = meetvaliditeit vastgesteld door na te gaan of het gemeten concept samenhangt met metingen van concepten die theoretisch verwant zijn
Is de meting op verwachte wijze gelinkt aan andere concepten?
Discriminerende geldigheid = vorm van begripsgeldigheid vastgesteld door na te gaan of het gemeten concept niet samenhangt met metingen van concepten die theoretisch verschillend zijn
Verschilt de meting genoeg van andere concepten?
Toch samenhangen -> meetprobleem
Nadeel: veronderstelling dat de gebruikte theorieën correct zijn gespecifieerd en dat de andere concepten op geldige wijze gemeten werden
Convergerende validiteit = vorm van begripsvaliditeit vastgesteld door na te gaan of het gemeten concept samenhangt met metingen van concepten die theoretisch verwant zijn
Kwalitatieve meting
Het open karakter van kwalitatieve benaderingen
Open meetproces = een meetproces waarbij je de diverse stadia niet strikt chronologisch volgt, en waarbij de conceptuele definitie en de vorm van de waarnemingen niet op voorhand vasliggen
Veel verschillende perspectieven -> contrast met kwantitatieve aanpak (één duidelijke: klassieke test-theorie)
Soorten meetprocessen
Open vs gesloten meetproces -> opeenvolging stappen, aard data en plaats meetprocessen in de onderzoekcyclus zorgt ervoor dat we de 2 meetprocessen van elkaar kunnen onderscheiden
Gesloten (kwantitatieve + kwalitatieve meting)
Strikte volgorde van stappen
Voorgestructureerde aard van data (op voorhand vastgelegde indicatoren + je weet welke vorm het waargenomen kenmerk zal aannemen)
Stadia van het meten volgen chronologisch: conceptuele definitie -> definitie in indicatoren -> waarden van de indicatoren vaststellen
Karakter van de data is op voorhand bepaald
Meetproces heeft duidelijke plaats in onderzoekcyclus
Pas nadat metingen van alle onderzoekseenheden vastliggen, volgt een verwerking van de gegevens
Deductief
Open (kwalitatieve meting): wisselwerking, flexibel, verbonden met andere fasen
Stadia niet chronologisch volgen
Conceptuele definitie en de vorm van de waarnemingen liggen niet op voorhand vast
Wisselwerking tussen 3 stappen -> meetproces is verbonden met de andere stappen
Op basis van waarnemingen kan je beslissing om conceptuele of operationele definitie aan te passen en op nieuwe indicatoren in te zoomen
Definities/indicatoren worden gradueel verfijnd
Vorm van waarnemingen is flexibel -> kwalitatieve data kunnen verschillende vormen aannemen
Op basis van eerste bevindingen beslissen of je bijkomende observaties gaat doen
Spiraling research approach (Berg): onderzoekers maken voortdurende cirkelbewegingen tussen ideeën, theorieën, onderzoeksontwerpen, dataverzameling en analyse -> verschillende fasen voeden en informeren elkaar
Verbonden met andere fasen -> geen onderzoeksfase apart
Inductief
Voornamelijk kwalitatieve metingen: diversiteit van kwalitatieve benaderingen spreidt zich over het gehele open-gesloten spectrum -> maakt het onmogelijk te spreken van kwalitatieve metingen in algemene termen
Kwalitatieve meetaanpakken
Gefungeerde theoriebeandering/grounded theorie (inductief) = een inductieve onderzoeksstrategie die ontwikkeld werd door Glaser & Strauss en die vanuit empirische observatie en gebruikmakend van sensitiing concepts tot meer veralgemeenbare theoretische inzichten probeert te komen
Heeft een specifieke omvang van operationaliseren van concepten
Onderzoekers laten zich misleiden door vooraf gedefinieerde concepten die uit de bestaande literatuur afkomstig zijn -> bestaande literatuur negeren in grounded theorie
Onderzoekers moeten aan de slag met sensitizing concepts (= zijn niet op voorhand vastgelegd en vloeien voort uit empirische observatie)
Conceptuele definitie volgt dus uit waarnemingen
Verschillend van definitive concepts
Niet vertrekken van concepten die afkomstig zijn uit de literatuur -> eigen omvang met meetproces want startpunt is observatie (niet de conceptuele definitie)
Transcripties van kwalitatieve diepte-interviews als analysemateriaal -> 3 vormen van coderen
Open coderen = je legt de data uiteen, ontwikkelen van conceptuele categorieën met stukken tekst
Axiaal coderen = zoeken naar verbanden tussen de categorieën
Selectief coderen = je gaat op zoek naar een categorie die de kern van het onderzochte fenomeen wordt -> zal in diepte uitgewerkt worden en zal het middelpunt van de theorie vormen
Wisselen elkaar voortdurend af tot nieuwe theorie verfijnd is
Open onderzoek (in tegenstellen tot QCA)
Bestaande theorieën staan los van de realiteit
Kwalitatieve comparatieve analyse (QCA) = een onderzoeksstrategie waarbij je kwalitatieve gegevens in numerieke scores vertaalt met als doel te achterhalen welke factoren bepaalde fenomenen kunnen verklaren
Gesloten aanpak (neigt naar kwantitatieve)
Er wordt rijke kwalitatieve data verzameld over cases -> dit wordt omgezet naar scores van 0 of 1 (erg voorgestructureerde data) -> vervolgens geanalyseerd aan de hand van Boleaanse algebra
QCA onderzoekt wat de noodzakelijke en voldoende voorwaarde zijn voor het optreden van een bepaald fenomeen
Een beperkt aantal verklarende variabelen worden geselecteerd
Bestaande literatuur en vooraf gedefinieerde concepten spelen wel een rol
Gaat uit van kwalitatieve gegevens maar worden tot numerieke variabelen herwerkt
Gebruik van dichotome variabelen (= 2 waarden) -> 0 en 1
Systematische en mathematische aanpak van QCA staat in contrast met de aanpak van grounded theorie:
And, or & not -> wat zijn de noodzakelijke en voldoende voorwaarden voor het optreden van een fenomeen?
De kwaliteit van kwalitatieve benaderingen
Verschillende visies/kampen voor evalueren hoe kwalitatief de metingen zijn
Kwalitatieve metingen hanteren best gemeenschappelijke kwaliteitscriteira
Meetgeldigheid en betrouwbaarheid zijn ook bij kwalitatief onderzoek van belang
Deze benadering vind je vooral terug bij kwalitatief onderzoek met een gesloten meetproces
Plausibele en geloofwaardige uitspraken vormen het oogmerk van alle onderzoek
Kwalitatief onderzoek: goede correspondentie tussen theoretisch concept en indicatoren -> inconsistentie in de resultaten zijn onwenselijk
Poging om betrouwbaarheid van kwalitatieve metingen te testen: intercodeurbetrouwbaarheid -> mate van overeenstemming tussen beide codeurs
Kwalitatief onderzoek heeft wel degelijk nood aan een set van eigen kwaliteitscriteria
Bij betrouwbaarheid en geldigheid (kwantitatief) bestaat er een objectieve werkelijkheid -> de metingen moeten hieraan corresponderen (= correspondentietheorie)
Constructivistische traditie probeert hiermee te breken want sociale constructie en sociale fenomenen zijn van belang
Taak van de onderzoekers bestaat erin te achterhalen welke interpretatie de mensen geven aan de realiteit -> interactie nodig
Onderzoekers handelen vanuit hun subjectiviteit om tot unieke inzichten en interpretaties te komen
Credibiliteit = een kwaliteitscriterium om kwalitatieve metingen te beoordelen; benadrukt het belang van de geloofwaardigheid van resultaten in de perceptie van de onderzochte personen -> bevindingen moeten overeenstemmen met de realiteit zoals de onderzochte personen dit percipiëren
Reflexiviteit = een kwaliteitscriterium om kwalitatieve metingen te beoordelen; benadrukt dat je je er bewust van moet zijn dat je particuliere perspectief je interpretaties kleurt -> kritische peer review en open kritisch dialoog tussen wetenschappers staan centraal: van belang om te reflecteren over de impact van de eigen positie op de bevindingen van onderzoek