Please enable JavaScript.
Coggle requires JavaScript to display documents.
Diagnostik: Itemanalyse (Buch) (1) (Itemschwierigkeit ( (Zusammenhang zw.…
Diagnostik: Itemanalyse (Buch) (1)
Analyse
Gewinnung von Informationen über Qualität der Items
Personenstichprobe sollte späterer Zielgruppe entsprechen
Kennwerte der Itemanalyse sind stichprobenabhängig (gemäß KTT)
Kennwerte: Itemschwierigkeit und Trennschärfe
Itemschwierigkeit
Die Itemschwierigkeit gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals beantwortet haben.
Die Antworten sollen variieren
Hilfsgröße bei dichotomen Items für Streuung:
Zusammenhang zw. Itemschwierigkeit und Streuung:
Itemstreuung bei mittlerer Schwierigkeit (p= .5) am größten
mittlere Schwierigkeit nicht für alle Items am Vorteilhaftesten
Differenzierung auch in unteren und oberen Bereichen notwendig (d.h. Items, die im oberen /unteren Bereich für "normale" Personen leicht/schwer sind) sonst unterscheiden sich Personen mit sehr hoher Ausprägung von denen mit hoher Ausprägung nur geringfügig
richtige Antwort: "im Sinne des Merkmals" bei Leistungsstets; Antwort, die das Merkmal induziert bei Fragebögen
Wert zw. 0 und 1, bei genau 0 oder 1: alle Personen haben gleich geantwortet, 1= Item zu leicht, alle konnten es beantworten
Besonderheiten
Ratekorrektur
W´keit: 1/n
Korrektur des Zufalls:
ergibt Itemschwierigkeit p unter Berücksichtigung des Zufalls
bei geringer Streuung s(i) differenziert Item nicht gut (Item beibehalten, wenn Test genügend viele andere Items mit mittlerer Schwierigkeit enthält
fehlende (unbearbeitete) Items
unbearbeitet durch Zeitbegrenzung (Raten erlaubt):
Itemabfolge variieren, sodass zumindest die Hälfte alle TN alle Items beantwortet (z.B. in 3 Teile, in Variation wird Block 2 mit 3 getauscht)
keine Ratekorrektur bei
2 Antwortmöglichkeiten (W´keit 50%, nicht anzunehmen, dass Leute raten)
Aufforderung "nicht Raten" / Punktabzug für falsche Antwort
oder Test verlängern um weitere Items, Bearb.zeit entspr. anheben, aber zusätzliche Items nicht in Itemanalyse aufnehmen
wenn zum Raten aufgefordert wird
Speed- und Powertests
Speedtests
Differenzierung zw. Probanden durch Zeitvorgabe (alle items könnten von allen TN gelöst werden)
Powertests/Niveautetst
kein TN könnte alle Aufgaben lösen, Items meist nach Schwierigkeit gereiht, zum Ende hin schwer lösbar
Niveauindex zur numerischen Bestimmung der Speed vs. Power-Komponente
Speedtest: w=0 Powertest: w=1
Nchtbearbeitung von Items in Persönlichkeitstests: Alarmzeichen, Items evtl. raus, falls trotzdem berechnet wird: Formel für Schwierigkeit eines unbearbeiteten [Items:]
Schwierigkeit als arithmetrisches Mittel: bei mehrstufigen Antworten: wenn Gleichabständigkeit zw. Stufen (Intervallskala-Niveau) =arithm. Mittel als Itemschwierigkeit, SD als Itemstreuung
Interpretation des Schwerigkeitsindex: P kann als arithmetrischer mittelsert der Itemantworten der n Probanden auf der k-Stufigen Antwortskala interpretiert werden. Je höher P, desto leichter /symptomatischer können Probanden das Item beantworten, je kleiner, desto schwerer fällt es (Moosbrugger)
es sollen möglichst alle Antwortmöglichkeiten (z.B. 0-1-2-3-4) von den Probanden genutzt werden, andernfalls differenziert das Item nicht gut genug zwischen ihnen
Trennschärfe
Definitionen
Die Trennschärfe einer Aufgabe ist definiert als die Korrelation des Items mit dem Test oder der Skala des Tests, zu der das Item gehört. Der Test- bzw. Skalenwert wird dabei über alle Items mit Ausnahme des analysierten bestimmt. Sie ist ein Kennwert dafür, in welchem Ausmaß die durch das Item erfolgte Differenzierung der Probanden in Löser und Nichtlöser mit derjenigen durch die Skala als Ganzes übereinstimmt.
Die Trennschärfe r(it) eines Items i drückt aus, wie groß der korrelative Zusammenhang zwischen den Itemwerten x(vi) der Probanden und den Testwerten x(v) der Probanden ist. Der Testwert x(v) eines Probanden v wird dabei üblicher- weise als Zeilensumme sämtlicher Itemwerte x(vi) des Probanden v gebildet. (Moosbrugger)
Wertebereich +1 bis -1, neg. Wert verschlechtert Differenzierung, sollte entfernt oder modifiziert werden
zeigt, in welchem Ausmaß das Item das Gleiche misst wie der Test und wie gut das Item zw. Personen mit hoher vs. niegriger Merkmalsausprägung "trennt"
Korellationskoeffizient +1 bis -1; neg. Wert verschlechter Differenzierung, sollte entfernt oder modifiziert werden
abhängig von
inhaltlicher Passung der Items zur Skala (Item ist gut geeignet, das Merkmal zu messen, falls nicht, dann schlecht ausgewählt oder schlecht formuliert)
Verteilungsforn von Item und Testwert: sind beide in gleicher Weise (z.B. schief) verteilt, wird die Korr nicht eingeschränkt
Streuung der Testwerte / Testwertvarianz: bei homogenen Sticproben variiert das Merkmal nicht so stark und die Varianz fällt geringer aus als bei einer repräsentativen Stichprobe
Streuung der Items / Itemvarianz: ist sie klein, mindert das die Korrelation und damit die Trennschärfe, bei dichotomen Items ist Streuung bei p= .5 am größten, bei Extremwerten ( .05 oder .95) ist sie sehr klein (Phänomen tritt bei heterogenen Gruppen auf)
Interpretationen
r(it) nahe 1: Das Item wird von Probanden mit hohem Testwert (hoher Merkmalsausprägung) gelöst bzw. symptomatisch beantwortet und von Probanden mit niedrigem Testwert (niedriger Merkmalsausprägung) nicht. Man kann davon ausgehen, dass die einzelnen Items sehr ähnlich differenzieren wie der Gesamttest. Trennschärfen im Bereich von .4 bis .7 gelten als »gute« Trennschärfen.
r(it) nahe 0: Die mit dem Item erzielte Differenzierung weist keinen Zusammenhang mit der Differenzierung durch den Gesamttest auf. Item ungeeignet, zw. Personen mit hohen und denne mit niedriger Merkmalsausprägung zu unterscheiden. Item ist unabhängig von dem, was die naderen Items messen und von dem, was die Summer der übrigen Items (Testwert) misst.
r(it) nahe -1: Das Item wird von Probanden mit niedriger Merkmalsausprägung gelöst bzw. symptomatisch beantwortet und von Probanden mit hoher Merkmals- ausprägung nicht. Evtl. durch Mängel bedingt. Bei Persönlichkeitstests können Items mit hoher neg. Trennschärfe invertiert werden (T. dann pos. und nutzbar). Neg. T. evtl durch nicht rückinvertierte Items entstanden
Invertierung
von Items: Umpolung neg. Items nicht vergessen, sonst Gesamtwert falsch
Part-whole-Korrektur:
vor der Anaylse des zu ermittelnden Items wird dieses vom Gesamtwert substrahiert. Falls das Item im Testwert enthalten ist, kommt es sonst bei der Berechnung der Korr zu einer Korr des Items mit sich selbst. Besonders bei wenigen Items gibt es dadurch eine Verzerrung.
Itemvarianz
(Moosbrugger)
informiert über die Differenzierungsfähigkeit eines Items hinsichtlich der untersuchten Probandenstichprobe. Liegt die Schwierigkeit eines Items fest, so ist die mögliche Ausprägung seiner Varianz begrenzt.
Der Zusammenhang zwischen Itemvarianz und Itemschwierigkeit ist kurvilinear. Die Itemvarianz hat ihr Maximum bei mittlerer Itemschwierigkeit (50), bei extremen Ausprägungen (0 oder 100) können keine Differenzierungen mehr vorgenommen werden
