H6: kwantitatieve en kwalitatieve meting

Meten = het empirisch vaststellen van verschijnselen die een theoretisch concept zo goed mogelijk weerspiegelen; metingen kunnen zowel kwantitatief als kwalitatief zijn -> meten = weten

Empirisch onderzoek -> we observeren om onze theorieën aan de realiteit af te toetsen

Kloof tussen

Theorieën die in abstracte termen gesteld zijn

Fenomenen die je concreet kan waarnemen

Vb. kwaliteit Universiteit

Het meetproces

Meetproces = complex proces dat uit verschillende stappen bestaat: conceptuele definitie -> operationele definitie -> waargenomen kenmerk

Conceptuele definitie = een ondubbelzinnige omschrijving van een theoretisch concept in al zijn deelaspecten (duidelijk omschrijving); op basis van de conceptuele definitie moeten er indicatoren gekozen worden die het concept zo goed mogelijk vatten

Operationele definitie = een omschrijving van de indicatoren en waarnemingsmethode die nodig is om een bepaald theoretisch concept te meten (set van indicatoren + methode van waarneming)

Operationalisering = vertaling van theoretische concepten in waarneembare indicatoren (onderzoeksvatbaar maken van theoretisch concept) -> observeren kan beginnen

Waargenomen kenmerken = de waarden die je vaststelt op de indicatoren (variabelen)

Bij elke stap kunnen meetfouten voorkomen

Betekenisverenging/betekenisvernauwing = een fout in het meetproces waarbij je een deelaspect van een theoretisch concept niet waarneemt -> treedt op wanneer we een deel van de oorspronkelijke conceptuele definitie niet observeren; indicatoren missen een deelaspect waardoor meting nauwer is

Betekenisverschuiving = een fout in het meetproces waarbij je verschijnselen waarneemt die niet tot de conceptuele definitie behoren -> we nemen ook zaken waar die eigenlijk niet tot de conceptuele definitie behoren; meting is verschoven naar ander concept

Soorten concepten

Kwantitatieve vs kwalitatieve benaderingen

Hoe moeilijk het is om een begrip te meten, is afhankelijk van de complexiteit en de abstractiegraad van het concept in kwestie -> 2 dimensies

Complexiteit van een model = de mate waarin een concept uit verschillende dimensies of deelaspecten bestaat

Eenvoudig: één dimensie in de conceptuele definitie

Complex: meerdere dimensies in de conceptuele definitie -> alle belangrijke dimensies uit de definitie

Abstractiegraad van een concept = de mate waarin het mogelijk is om een theoretisch concept direct zintuigelijk vast te stellen -> fenomeen zintuigelijk waarneembaar?

Concreet: zintuigelijk waarneembaar -> observeerbaar vb. geboorteakte dus leeftijd

Abstract: niet onmiddellijk zintuigelijk waarneembaar vb. gendergelijkheid

Veralgemeningsfout = op basis van een te partiële meting foutieve conclusies trekken over een complex concept vb. dalende kerkbezoeken -> religie verdwijnt

Wie bij operationaliseren van het karakter van een concept niet respecteert, loopt het risico op ongeldige besluiten

Abstractiefout = op basis van een te concrete indicator foutieve besluiten trekken over een abstract concept vb. meten op basis van één concrete indicator -> best meerdere

Kwantitatief-kwalitatief = verwijst naar het onderscheid tussen de soort of aard van een fenomeen vs de mate waarin het naar voor komt

Kwalitatieve metingen = betekenisvolle categorieën; voorwaarden waaraan voldaan moet zijn om tot een bepaalde categorie gerekend te zijn -> constructivisme

Kwantitatieve metingen = gaan na in welke mate iets het geval is; bij hoeveel eenheden een kenmerken voorkomt -> naturalisme

Kwantitatief meten

Kwalitatieve meting

Uitgangspunt: klassieke testtheorie = een denkkader dat beschrijft hoe observaties onderhevig zijn aan toevallige en systematische meetfouten -> observaties geven geen perfect beeld van de realiteit

X = T + I + e

X = observatie, waargenomen kenmerk (laatste stap in meetproces)

T = true score -> wat we proberen meten (objectieve true realiteit = moeilijk te vatten door meetfouten bij observatie -> waarnemingen zijn geen perfecte weerspiegeling van de werkelijkheid)

I = invalidty of ongeldigheid (systematische fouten)

e = error of onbetrouwbaarheid (toevalsfouten)

X komt nooit helemaal overeen met T door meetfouten I en e

Strategieën om met meetfouten om te springen

Ontwerpen van meetinstrumenten die fouten minimaliseren

Aanwezigheid van fouten opsporen zodat er rekening mee gehouden kan worden bij de conclusies

Kenmerken kwantitatieve variabelen

Kwantitatieve meting probeert theoretisch concept te vertalen naar een getalscore -> uiteenlopend dus we onderscheiden meetniveaus van numerieke variabelen (= aard van relatie tussen variabelen en toegekende getalscore -> hiërarchisch op basis van hoeveelheid precisie)

Nominale variabele = kwantitatieve variabele die uit een eindig aantal categorieën bestaat waartussen geen logische ordening mogelijk is

Eindig aantal categorieën -> arbitraire toekenning van score (onderscheid tussen groepen maar voor de rest willekeurig en geen verdere info)

Geen logische ordening

Aan de categorieën kan je een getal toewijzen

Ordinale variabele = een kwantitatieve variabele waarvan je de categorieën kan ordenen; de afstand tussen de categorieën is niet gedefinieerd

Categorieën kunnen logisch geordend worden

Afstand tussen 2 categorieën is niet gedefinieerd

Categorieën die hoger of beter zijn, krijgen hogere scores

Intervariabele = een kwantitatieve variabele waarbij de afstanden tussen de waarden gedefinieerd zijn

Afstand tussen de 2 categorieën hebben een eenduidige betekenis

Score heeft betekenis op zich (intrinsiek)

Geen absoluut nulpunt

Ratiovariabele = een kwantitatieve variabele waarbij de afstanden tussen de waarden gedefinieerd zijn en het nulpunt absoluut is

Afstanden tussen scores hebben vaste betekenis

Nulpunt

Metrische variabele (interval + ratio) = een kwantitatieve variabele waarbij de getalscores niet arbitrair zijn maar intrinsiek betekenis in zich dragen -> score heeft betekenis op zich; afstand tussen categorieën ligt vast

Continu variabelen = kunnen een groot aantal verschillende waarden aannemen op een continuüm (oneindig) vb. inkomen

Discrete variabelen = kunnen een beperkt mogelijke waarde aannemen en verloopt stapsgewijs vb. aantal vrienden

Schaaltechnieken

Om een abstract kenmerk te operationaliseren, is het aangewezen om meerdere indicatoren te gebruiken -> meerdere metingen voor 1 concept

Brede inhoud van theoretisch concept kan voldoende afgedekt worden

Toevalsfouten hebben elkaar op

Uitdaging: hoe kan er op basis van meerdere indicatoren één enkele schaal geconstrueerd worden

Likertschaal = een meting waarbij respondenten meerdere items beoordelen met behulp van een vast format dat uit meerdere antwoordcategorieën bestaat

Beperkt aantal antwoordmogelijkheden

Vaak in enquêtes

Vaak met een stelling -> helemaal eens tot helemaal oneens

Uiteindelijke schaalscore door de som of het gemiddelde te nemen

Guttmanschaal = een meting gebaseerd op de som van meerdere items met 2 antwoordcategorieën waarvan de items variëren in extremiteit of moeilijkheidsgraad

Items worden gerangschikt naar moeilijkheid/extreemheid

Cumulatief verband tussen de items

Mensen die het eens zijn met moeilijkere items gaan ook akkoord met makkelijkere

Score wordt bepaald door te tellen hoeveel mensen er "ja" hebben geantwoord op de set items

Voordeel: reproduceerbaar -> als je iemands score op de schaal kent kan je het scorepatroon van die persoon op de aparte items reconstrueren

Guttman's reproduceerbaarheidscoëfficiënt -> reproduceerbaar als R minstens 0,90

R = 1 - (totaal aantal fouten/aantal respondenten x items)

Operationaliseren van relaties tussen variabelen

Metingen zijn een middel om na te gaan of verschillende concepten aan elkaar gerelateerd zijn -> ook relaties tussen variabelen moeten geoperationaliseerd worden

Verklarend onderzoek = testen of relaties tussen gemeten concepten overeenstemmen met wat de theorie voorspelt

Soorten variabelen

Manifeste variabelen = variabelen die we rechtstreeks meten aan de hand van één vraag

Latente variabelen = niet zomaar direct te observeren, niet rechtstreeks waarneembaar -> meerdere onrechtstreeks indicatoren nodig

Soorten relaties

Effect-relatie = het ene kenmerk gaat het andere vooraf in de tijd -> er is een variabele die als oorzaak beschouwd wordt en die effect heeft op een andere (gevolg) -> onafhankelijke variabele beïnvloedt de afhankelijke (asymmetrisch)

Samenhang = de 2 fenomenen zijn gelinkt aan elkaar en veranderen samen (symmetrisch) -> een hoge score op X gaat samen met een hoge score op Y en omgekeerd (er is geen variabele die een oorzaak of gevolg is)

Bij meer dan 2 variabelen -> verschillende configuraties

Statistische controle = model waarbij het effect van één variabele op een andere geschat wordt termijn mogelijk storende factoren onder controle gehouden worden

Blijft X een effect hebben op Y als je C constant houdt? -> testen of effect overeind blijft als je een derde factor onder controle houdt (controlevariabele C)

Netto vs bruto effect

Netto effect = effect van X op Y nadat de invloed van C weggefilterd is (na controlevariabele toe te voegen, effect bekijken)

Bruto effect = houdt geen rekening met C

C is vertrekpunt

Mediatie = de relatie tussen 3 kenmerken waarbij het effect van één variabele op een andere via een derde variabele verloopt

Verloopt het effect van X op Y via M (tussenliggende variabele/mediator)?

Mediatiemodel maakt onderscheid tussen rechtstreeks effect van X en onrechtstreeks effect van X

Direct/rechtstreeks effect = rechtstreeks van X naar Y

Indirect/onrechtstreeks effect = onrechtstreeks effect van X dat via M verloopt

Totaal effect = direct + indirect (X -> M -> Y)

Direct effect afwezig -> volledige mediatie

Indirect & direct effect verschillend van 0 -> mediatie partieel

X is vertrekpunt

X beïnvloedt M, dat op zijn beurt een effect heeft op Y

Driehoek

Driehoek

Interactie-effect/moderatie-effect = de relatie tussen 3 kenmerken waarbij de sterkte of het teken van het effect van één variabele op een andere beïnvloed wordt door de waarde van een derde variabele

Verandert het effect van X op Y in functie van W?

Relatie tussen X & Y verschilt door diverse waarden van W (niet constant)

Geen driehoek

Vaak geslacht als moderator

Betrouwbaarheid nagaan

Simpsons paradox = een fenomeen in de statistische analyse waarbij een relatie die in subgroepen van de data aanwezig is, kan verdwijnen of wijzigen van teken wanneer je de subgroepen samen neemt -> speciale vorm van schijnverband: wel direct effect aanwezig maar wordt onzichtbaar gemaakt door tegengesteld indirect effect

Betrouwbaarheid = afwezigheid van toevalsfouten -> zijn bij elke meting een beetje anders

Onbetrouwbaarheid opsporen door herhaaldelijk hetzelfde te meten en de verschillen op te sporen/overeenstemming na te gaan

Verschillende technieken

Test-hertestbetrouwbaarheid = de betrouwbaarheid die vastgesteld wordt door 2 metingen te vergelijken die met een korte tussentijd zijn uitgevoerd bij exact dezelfde personen en met identiek hetzelfde instrument

Split-halfbetrouwbaarheid = de betrouwbaarheid die vastgesteld wordt door de samenhang te berekenen tussen 2 helften van een batterij items

Conbrachs alfa = de maat voor de interne consistentie van een schaal gebaseerd op de gemiddelde correlatie tussen de indicatoren

Test-retest hoog -> sterke correlatie tussen beide resultaten -> betrouwbaarder

Wordt berekend door de correlatie (samenhang)

Betrouwbaarheid weergegeven door correlatiecoëfficiënt -> 1 = perfect en 0,8 = ondergrens

2 assumpties

Er mogen zich geen veranderingen voordoen in de situatie van de respondent

Er moet voldoende tijd tussen de metingen zitten -> geheugeneffect vermijden

Interne consistentie = één tijdstip, verschillende indicatoren voor hetzelfde concept -> zou hetzelfde resultaat moeten hebben om betrouwbaar te zien (onderling voldoende sterke samenhang)

Correlatie tussen de gemiddelden op de 2 helften van het meetinstrument

Nadeel: verschillende opdeling in helften kan tot een andere betrouwbaarheid leiden

Hoe sterk zijn meerdere items binnen één instrument onderling samenhangend?

Alfa = onderlinge samenhang

Dicht bij 1 = sterke interne consistentie

Boven 0,70 = hoog

Betrouwbaarder dan split-half

Nadeel: aantal items in een schaal interne consistentie -> meetinstrument met veel items halen gemakkelijk 0,70

Meetgeldigheid nagaan

Meetvalidatie = in hoeverre bestaat er een overlap tussen het theoretische en het waargenomen concept?

Ongeldigheid in metingen is moeilijker op te sporen

Diverse methoden om meetgeldigheid na te gaan

Inhoudsgeldigheid = een benadering van meetvaliditeit die via theoretische studie nagaat of een instrument de relevante facetten van een theoretisch concept voldoende afdekt

Proces van operationalisering wordt tegen het licht gehouden -> nagaan of de selectie van indicatoren de theoretische inhoud van een concept voldoende afdekt

Kwalitatieve bedanking van meetvaliditeit

Lijkt op indruksgeldigheid

Indruksgeldigheid = een benadering van meetgeldigheid die verwijst naar de vraag of een instrument de indruk wekt datgene te meten waarvoor het ontworpen werd

Beroept zich veeleer op de intuïtie van de onderzoekers in vergelijking met inhoudsgeldigheid waar grond theoretische studie vereist is

Lijkt op inhoudsgeldigheid

Criteriumgeldigheid = meetvaliditeit vastgesteld door de meting te vergelijken met een criterium waarvan de validiteit vaststaat

Hoe beter de meting met het criterium overeenstemt, hoe hoger de geldigheid van de meting -> metingen die beter met het criterium overeenkomen, kennen een hogere criteriumvaliditeit

2 vormen afhankelijk van het criterium die zich in het heden of de toekomst voordoet

Predictieve geldigheid = meetvaliditeit vastgesteld door na te gaan hoe goed een meting een latere gebeurtenis voorspelt

Gelijktijdige geldigheid = meetvaliditeit vastgesteld door de meting te vergelijken met een criterium dat beschikbaar is op het moment dat je de meting uitvoert

We gaan na in welke mate een meting erin slaagt een meting die in de toekomst ligt, te voorspellen

Als een meting een grote voorspellende kracht heeft, nemen we aan dat het goed zit met de geldigheid

Nadeel: indien het oorspronkelijk instrument niet valide is, kan je geen eenduidige conclusies over kwaliteit van het nieuwe instrument trekken

Hoe goed komt de meting overeen met een ander geldig instrument (waarvan de geldigheid vast staat)

Begripsgeldigheid = meetvaliditeit vastgesteld door na te gaan of het gemeten concept samenhangt met metingen van concepten die theoretisch verwant zijn

Is de meting op verwachte wijze gelinkt aan andere concepten?

Discriminerende geldigheid = vorm van begripsgeldigheid vastgesteld door na te gaan of het gemeten concept niet samenhangt met metingen van concepten die theoretisch verschillend zijn

Verschilt de meting genoeg van andere concepten?

Toch samenhangen -> meetprobleem

Nadeel: veronderstelling dat de gebruikte theorieën correct zijn gespecifieerd en dat de andere concepten op geldige wijze gemeten werden

Convergerende validiteit = vorm van begripsvaliditeit vastgesteld door na te gaan of het gemeten concept samenhangt met metingen van concepten die theoretisch verwant zijn

Het open karakter van kwalitatieve benaderingen

Soorten meetprocessen

Kwalitatieve meetaanpakken

De kwaliteit van kwalitatieve benaderingen

Open meetproces = een meetproces waarbij je de diverse stadia niet strikt chronologisch volgt, en waarbij de conceptuele definitie en de vorm van de waarnemingen niet op voorhand vasliggen

Veel verschillende perspectieven -> contrast met kwantitatieve aanpak (één duidelijke: klassieke test-theorie)

Open vs gesloten meetproces -> opeenvolging stappen, aard data en plaats meetprocessen in de onderzoekcyclus zorgt ervoor dat we de 2 meetprocessen van elkaar kunnen onderscheiden

Gesloten (kwantitatieve + kwalitatieve meting)

Open (kwalitatieve meting): wisselwerking, flexibel, verbonden met andere fasen

Strikte volgorde van stappen

Voorgestructureerde aard van data (op voorhand vastgelegde indicatoren + je weet welke vorm het waargenomen kenmerk zal aannemen)

Stadia van het meten volgen chronologisch: conceptuele definitie -> definitie in indicatoren -> waarden van de indicatoren vaststellen

Karakter van de data is op voorhand bepaald

Meetproces heeft duidelijke plaats in onderzoekcyclus

Pas nadat metingen van alle onderzoekseenheden vastliggen, volgt een verwerking van de gegevens

Deductief

Stadia niet chronologisch volgen

Conceptuele definitie en de vorm van de waarnemingen liggen niet op voorhand vast

Wisselwerking tussen 3 stappen -> meetproces is verbonden met de andere stappen

Op basis van waarnemingen kan je beslissing om conceptuele of operationele definitie aan te passen en op nieuwe indicatoren in te zoomen

Definities/indicatoren worden gradueel verfijnd

Vorm van waarnemingen is flexibel -> kwalitatieve data kunnen verschillende vormen aannemen

Op basis van eerste bevindingen beslissen of je bijkomende observaties gaat doen

Spiraling research approach (Berg): onderzoekers maken voortdurende cirkelbewegingen tussen ideeën, theorieën, onderzoeksontwerpen, dataverzameling en analyse -> verschillende fasen voeden en informeren elkaar

Verbonden met andere fasen -> geen onderzoeksfase apart

Inductief

Voornamelijk kwalitatieve metingen: diversiteit van kwalitatieve benaderingen spreidt zich over het gehele open-gesloten spectrum -> maakt het onmogelijk te spreken van kwalitatieve metingen in algemene termen

Gefungeerde theoriebeandering/grounded theorie (inductief) = een inductieve onderzoeksstrategie die ontwikkeld werd door Glaser & Strauss en die vanuit empirische observatie en gebruikmakend van sensitiing concepts tot meer veralgemeenbare theoretische inzichten probeert te komen

Heeft een specifieke omvang van operationaliseren van concepten

Onderzoekers laten zich misleiden door vooraf gedefinieerde concepten die uit de bestaande literatuur afkomstig zijn -> bestaande literatuur negeren in grounded theorie

Onderzoekers moeten aan de slag met sensitizing concepts (= zijn niet op voorhand vastgelegd en vloeien voort uit empirische observatie)

Conceptuele definitie volgt dus uit waarnemingen

Verschillend van definitive concepts

Niet vertrekken van concepten die afkomstig zijn uit de literatuur -> eigen omvang met meetproces want startpunt is observatie (niet de conceptuele definitie)

Transcripties van kwalitatieve diepte-interviews als analysemateriaal -> 3 vormen van coderen

Open coderen = je legt de data uiteen, ontwikkelen van conceptuele categorieën met stukken tekst

Axiaal coderen = zoeken naar verbanden tussen de categorieën

Selectief coderen = je gaat op zoek naar een categorie die de kern van het onderzochte fenomeen wordt -> zal in diepte uitgewerkt worden en zal het middelpunt van de theorie vormen

Wisselen elkaar voortdurend af tot nieuwe theorie verfijnd is

Open onderzoek (in tegenstellen tot QCA)

Bestaande theorieën staan los van de realiteit

Kwalitatieve comparatieve analyse (QCA) = een onderzoeksstrategie waarbij je kwalitatieve gegevens in numerieke scores vertaalt met als doel te achterhalen welke factoren bepaalde fenomenen kunnen verklaren

Gesloten aanpak (neigt naar kwantitatieve)

Er wordt rijke kwalitatieve data verzameld over cases -> dit wordt omgezet naar scores van 0 of 1 (erg voorgestructureerde data) -> vervolgens geanalyseerd aan de hand van Boleaanse algebra

QCA onderzoekt wat de noodzakelijke en voldoende voorwaarde zijn voor het optreden van een bepaald fenomeen

Een beperkt aantal verklarende variabelen worden geselecteerd

Bestaande literatuur en vooraf gedefinieerde concepten spelen wel een rol

Gaat uit van kwalitatieve gegevens maar worden tot numerieke variabelen herwerkt

Gebruik van dichotome variabelen (= 2 waarden) -> 0 en 1

Systematische en mathematische aanpak van QCA staat in contrast met de aanpak van grounded theorie:

And, or & not -> wat zijn de noodzakelijke en voldoende voorwaarden voor het optreden van een fenomeen?

Verschillende visies/kampen voor evalueren hoe kwalitatief de metingen zijn

Kwalitatieve metingen hanteren best gemeenschappelijke kwaliteitscriteira

Meetgeldigheid en betrouwbaarheid zijn ook bij kwalitatief onderzoek van belang

Deze benadering vind je vooral terug bij kwalitatief onderzoek met een gesloten meetproces

Plausibele en geloofwaardige uitspraken vormen het oogmerk van alle onderzoek

Kwalitatief onderzoek: goede correspondentie tussen theoretisch concept en indicatoren -> inconsistentie in de resultaten zijn onwenselijk

Poging om betrouwbaarheid van kwalitatieve metingen te testen: intercodeurbetrouwbaarheid -> mate van overeenstemming tussen beide codeurs

Kwalitatief onderzoek heeft wel degelijk nood aan een set van eigen kwaliteitscriteria

Bij betrouwbaarheid en geldigheid (kwantitatief) bestaat er een objectieve werkelijkheid -> de metingen moeten hieraan corresponderen (= correspondentietheorie)

Constructivistische traditie probeert hiermee te breken want sociale constructie en sociale fenomenen zijn van belang

Taak van de onderzoekers bestaat erin te achterhalen welke interpretatie de mensen geven aan de realiteit -> interactie nodig

Onderzoekers handelen vanuit hun subjectiviteit om tot unieke inzichten en interpretaties te komen

Credibiliteit = een kwaliteitscriterium om kwalitatieve metingen te beoordelen; benadrukt het belang van de geloofwaardigheid van resultaten in de perceptie van de onderzochte personen -> bevindingen moeten overeenstemmen met de realiteit zoals de onderzochte personen dit percipiëren

Reflexiviteit = een kwaliteitscriterium om kwalitatieve metingen te beoordelen; benadrukt dat je je er bewust van moet zijn dat je particuliere perspectief je interpretaties kleurt -> kritische peer review en open kritisch dialoog tussen wetenschappers staan centraal: van belang om te reflecteren over de impact van de eigen positie op de bevindingen van onderzoek