Diagnostik: Itemanalyse / Itemselektion (Buch) (2)
Selektion nach Grafik
von Items nach ihrer Trennschärfe unter Berücksichtigung ihrer Schwierigkeit
man würde leichte Items (Itemschwierigkeit .8 und höher) eliminieren, vorzugsweise die mit niedrigsten Trennschärfen
Selektion nach Kennwert
korrigiert Trennschärfen für die Itemstreuungen (die sich aus der Itemschwierigkeit herleiten)
Je kleiner die Itemstreuung (also je extremer die Itemschwierigkeit) ist, desto stärker wird die Trennschärfe aufgewertet.
Wie hoch sollen Trennschärfen sein?
Verlust an Validität durch Selektion der trennschärfsten Items (das eine Superitem oder alle Items erfassen alle das Gleiche)
Höhe der Trennschärfe richtet sich nach der Homogenität des Merkmals: heterogene, vielschichtige Merkmale verlangen moderate Trennschärfen; homogene Merkmale dagegen sehr hohe
click to edit
Was bewirken hohe Trennschärfen?
Test wird homogener, Items korrelieren höher untereinander -> interne Konsistenz steigt an (Cronbachs Alpha)
Erhöhung der Homogenität nur dann, wenn Merkmal auch homogen ist
sonst steigt Konsistenz an und Validität des Tests sinkt, da das Merkmal eingeengt wird (nicht das ganze Merkmal wird erfasst, sondern nur Ausschnitt)
click to edit
Itemanalyse auch für Distraktoren möglich, selten gewählte Distraktoren sind evtl zu leicht als Falschantwort zu erkennen; Trennschärfe sollte negativ sein
Homogenität
das Ausmaß von formaler und inhaltlicher Einheitlichkeit (eines Items und der Skala)
homogene Skalen erfassen eng umschriebene Merkmalsaspekte
heterogene Skalen stehen für formative und inhaltlich vielgestaltige Skalen, zur Erfassung einer globalen Dimension, wie Allgemeine Intelligenz, Temperament
Operationalisierung
über die korrelative Übereinstimmung eines Items mit den anderen Items der Skala, z.B. als Mittelwert der Korrelationen eines Items mit allen anderen Aufgaben der Skala -> Homogenität der Skala aus den einzelnen (gemittelten) Korrelationen
Itemvalidität
"fremdtrennschärfe", berechnet wird der Zusammenhang mit einem Aussenkriterium
Berechnung
als Korrelation mit einem Kriteriumswert oder durch Mittelwertsvergleich
dichotomes Item, dichotomes Kriterium -> Phi-Koeffizient
dichotomes Item, intervallskaliertes Kriterium -> punktbiserale Korrelation
intervallskaliertes Item, dichotomes Kriterium -> Mittelwertsvergleich + Effektstärke + t-Test, ob Mittelwertsunterschied signifikant