Please enable JavaScript.
Coggle requires JavaScript to display documents.
VL 6: Beurteilung der Testgüte II (Normierung (Variabilitäts- /…
VL 6: Beurteilung der Testgüte II
Objektivität
Ergebnisse eines Verfahren kommen unabhängig davon zustande, wer die Untersuchung , die Auswertung und die Interpretation durchführt
=>
maximale Standardisierung
von Durchführung, Auswertung und Interpretation
Durchführungsobjektivität
: Es muss sichergestellt werden, dass ein Verfahren immer auf die gleiche Weise durchgeführt wird.
kritisch: Instruktionen u. Testleitereinflüsse
Auswertungsobjektivität:
auch hier Anweisungen, wie ausgewertet wird, ideal wenn computerbasiert, sonst Schablone
wenn Ermessensspielraum bei Auswertung fehleranfällig erscheint, sollte A. empirisch ermittelt und quantitativ bestimmt werden: größere Anzahl von Testprotokollen von mindestens zwei Personen wird ausgewertet. Die Übereinstimmung der Auswerter wird als
Intraklassenkorrelation (ICC)
berechnet (Varianzanalytische Bestimmung der A.) -> Der »wahre« Rohpunkt eines Probanden kann also allein infolge der mangelnden Auswertungsobjektivität nur mit den angegebenen Unsicherheitsintervallen (KI) bestimmt werden.
Interpretationsobjektivität
: Die Auswertung eines Tests liefert Rohwerte. Interpretationsobjektivität ist dann gegeben, wenn alle Testanwender diesen Rohwert in die gleiche Aussage über die Testperson transformie- ren. Dazu benötigen sie lediglich zwei Informationen: Erstens, welches Merkmal hier gemessen wurde bzw. wie es zu benennen ist, und zweitens, wie die Ausprägung des Merkmals der Testperson in Relation zu anderen Personen festzustellen ist.
Normierung
N. eines Tests liefert ein Bezugssystem, um die individuellen Testwerte im Vergleich zu denen einer größeren und meist repräsentativen Stichprobe von Testteilnehmern einordnen zu können (Bezugsrahmen und was Rohpunktwerte bedeuten, Rohwerte werden in transformierte Werte überführt)
Kriteriumsorientierte Testwertinterpretation (keine Normierung!)
- Prozentzahl (z.B. Schulleistungstests) Voraussetzung: Der Test ist Inhaltsvalide, man benötigt keine Normen. Für Einordnung benötigt man dann eine Vergleichsstichprobe. 27 von 30 Aufgaben -> 90% erfüllt
Äquivalenznormen
Zuordnung der Rohwerte zu bestimmten Referenzgruppen, z.B. Altersgruppen (sinnvoll für Merkmale, die sich mit dem Alter stark verändern) oder Gruppenvergleiche (mit / ohne Merkmal)
Variabilitäts- / Abweichungsnormen
Messwerte müssen normalverteilt sein
zeigt Abweichung vom Mittelwert einer Vergleichsgruppe (Alter, Geschlecht, Bildung...), hier z, wird in Diagn. aber nicht so häufig benutzt, weil er negativ werden kann (unschön)
Standardnormalverteilung: M=0, s= 1; Abweichungs-IQ-Skala (Wechsler): M=100, s=15; STandardwerte: M=100, s=10, T-Werte: M=50, s= 10; C-Werte: M=5, s=2; Stanine-Werte: M=5, s=2 (nicht kleiner 1 und größer 9)
Prozentrangnormen:
keine Annahme über Verteilung der Testwerte nötig
PR = Prozentrang; cumf = kumulierte Häufigkeit der Messwerte bis zur Klassengrenze; N = Gesamtzahl aller Probanden
Vorteil: keine Voraussetzungen ggü. der Verteilungsform und leicht zu verstehen
Nachteil: PR täuschen u.U. Differenzierungen in Verteilungen vor, die so nicht existieren, wenn PR nicht intervallskaliert sind, z.B. NV: in der Mitte kleine Differenzen in Standardwerten entsprechen großen Unterschieden in PR, an den Enden ist es umgekehrt
Normalisierung
weicht eine Testwertverteilung von der Normalverteilung ab, kann man eine Normalisierung (Anpassung der Testswerte im Sinne einer Verteilungsanpassung) vornehmen
Möglichkeiten:
Logarithmierung
bei rechtsschiefen (=linkssteilen, Median links vom Mittelwert) Verteilungen
insbesondere Ausreißer der rechtsschiefen Verteilung werden näher in die Mitte gerückt (bei linksschiefen würde es schlimmer werden
Box-Cox Verfahren
Flächentransformation
Bei der Flächentransformation werden die Histogrammsäulen der Testwertverteilung in der Weise verändert, dass die einzelnen Säulen hinsichtlich Höhe und Breite der Normalverteilung angepasst werden; gemäß dem Prinzip der Flächentreue bleiben die jeweiligen Flächenanteile unter der Verteilung dabei unverändert.
s. PR: Vorgehen: 1. Prozentränge berechnen (Beispiel:N=500, 20VPn haben Wert 1 oder 0 -> PR(Wert≤1) = 20/500*100 = 4.0); 2. PR oberen Klassengrenzen zuordnen (Klasse 0.5-1.5 -> PR 4.0); 3. z'-Wert für jeden PR in Tabelle ablesen (z-Wert(PR 4.0) = Φ-1(0.04) = -2.17)
wenn Annahme vertretbar, dass das gemessene Merkmal eigentlich nv ist und nur die Testwertverteilung in der Stichprobe z.B. durch Mängel bei der Konstruktion eine Abweichung von der NV aufweist
