Beurteilung der Testgüte 2

Fairness

Objektivität

Normierung/Eichung

Testökonomie

Nützlichkeit

Zumutbarkeit

Unverfälschbarkeit vs. Augenscheinvalidität

Akzeptanz

Skalierung

Durchführungsobjektivität: Ergebnisse unabhängig vom Testleiter? --> meist Berichten der Maßnahmen zur Standardisierung

Auswertungsobjektivität: Ergebnisse unabhängig vom Auswerter? --> Schablonen/ICC (besonders bei freiem Antwortformat)

Interpretationsobjektivität: Einordnung und Verbalisieren des Testergebnisses unabhängig vom Interpretierer? --> Normtabellen

ICC: Verhältnis von Testwertvarianz zu Testleitervarianzen und deren Interaktion

keine Produkt-Moment-Korrelation: bildet systematische Unterschiede nicht ab

vor allem für die Individualdiagnostik wichtig --> Vergleich des individuellen Werts mit repräsentativer Stichprobe

Umgehung: kriteriumsorientierte Interpretation (Voraussetzung: Inhalt und Schwierigkeit der Items repräsentativ)

Äquivalenznormen: Einordnen in bestimmte Gruppe, was ist bei welcher Abstufung (z.B. Alter) die Durchschnittsleistung --> selten

Prozentränge: wie viel Prozent haben diesen oder einen geringeren Testwert?

keine Annahmen: normalverteilt oder intervallskaliert

leicht verständlich auch für Laien

Interpretation der Abstände erschwert, da nicht intervallskaliert

keine Ausdifferenzierung in den extremen Bereichen, dafür in der Mitte übermäßig

z=(X-MW)/n

IQ=100+15z

T=50+10z

C=5+2z

Stanine: wie C nur von 1-9

je reliabler der Test, desto differenzierter darf die Skala sein

Z=100+10z

Normalisierung: "Werte normalverteilt machen"

Logarithmierung

Flächentransformation (breite Sachen stauchen und andersrum)

PR bilden

Klassen einteilen

z'-Werte aus Tabelle zuordnen

werden die Merkmalsrelationen adäquat abgebildet?

Skalenniveau

Zweidimensionalität (oft nicht sichtbar) --> keine adäquate Abbildung

Cleary-Modell: fair, wenn keine systematischen Über- oder Unterschätzung der Kriteriumswerte abhängig von der Gruppe

equal probability model: alle Zugelassenen haben die gleichen Erfolgswahrscheinlichkeiten --> RP/Zugelassene

conditional probability model: alle Geeigneten haben die gleiche Zulassungswahrscheinlichkeit --> RP/(RP+FN)

constant ratio model: Verhältnis von Zugelassenen und Geeigneten unabhängig von Gruppe --> (RP+FP)/(RP+FN)

Testkuratorium der psychologischen Berufsverbände macht Testrezensionen

warum?

Prozessnorm: DIN 33430

Prozess

Rezensionsschritte und -kriterien

wenige Testrezensionen

Qualität sehr wechselnd

unsystematische Rezensionen

meist werden nur universitäre Tests rezensiert

Schutz vor schlechten Tests

Qualität des Verfahrens

Einhaltung angemessenen Ablaufs

Qualifikation der Durchführenden

nicht gesetzlich verpflichtend

Auswahl des Tests

Beauftragung zwei unabhängiger Reviewer

Beurteilung einzeln

Zusammentragen der Beurteilungen

Zusammenarbeit der Reviewer

Testergebnisse an die Autoren

evtl. Stellungnahme/Modfikation

Veröffentlichung in Datenbank

Schritt 1: Prüfung der Informationsgrundlage nach DIN 33430

Schritt 2: Klassifikation und Datenbankeintrag

Schritt 3: Testbeurteilung und Rezension

drei freie Kategorien

vier freie und formalisierte Kategorien

theoretische Grundlage

Normierung

weitere Kriterien

Allgemeine Informationen

Objektivität

Reliabilität

Validität

Normierungsstichprobe sollte

möglichst groß sein (über 200)

möglichst aktuell sein (alle 8 Jahre nach DIN, dann reichen ca. 100)

möglichst repräsentativ sein