Please enable JavaScript.
Coggle requires JavaScript to display documents.
Konstruktionsprinzipien psychologischer Tests und Fragebögen - Coggle…
Konstruktionsprinzipien psychologischer Tests und Fragebögen
2.1 Problemstellung und Testplanung
Messgegenstände nach Eigenschaften
Qualitative Messgegenstände
Einteilung in Kategorien
Nominalskaliert
Quantitative Messgegenstände
Geordnete Kategorien oder kontinuierliche Dimension
Ordinal- oder intervallskaliert
Messgegenstände nach zeitlicher Stabilität
Traits
Zeitlich stabile Persönlichkeitsmerkmale
States
Situationsabhängige Zustände
Dimensionalität des Konstrukts
Unidimensional
Abbildung auf einer Dimension
Multidimensional
Mindestens zwei Facetten
Verfahrensformen
Höhere Merkmalsbreite → höhere Itemzahl
Testlänge
Mehr Items → höhere Reliabilität
Zu lange Tests → Validitätseinbußen (Motivation, Konzentration)
Zielgruppe beachten (z. B. Kinder)
Paper-Pencil vs. computerbasiert
Computerbasiert → höhere Durchführungs- und Auswertungsobjektivität
Adaptive Tests
Basieren auf IRT
Itemauswahl abhängig von bisherigen Antworten
Einzel- oder Gruppentest
Ablauf der Testkonstruktion planen
2.2 Itemgenerierung
Item
Aufgabenstamm + Antwortformat
2.2.1 Itemkonstruktion
Intuitive Strategie
Items auf Basis von Erfahrung und Intuition
Bei geringer theoretischer Fundierung
Deduktive (rationale) Strategie
Erst Theorie → dann Items
Items repräsentieren theoretische Facetten
Kognitive, affektive, behaviorale Indikatoren
Beispiel: Subdimensionen der Arbeitsbelastung
Induktive Strategie
Erst viele Items → dann Struktur durch Datenanalyse
Faktorenanalyse identifiziert Subdimensionen
Alternative: Prototypenansatz
Hohe Itemkorrelation → gleiches latentes Merkmal
Kriteriumsorientierte Strategie
Items prüfen Erreichen eines Kriteriums
Relevanz für diagnostische Klassifikation
Beispiel: ADHS-Kriterien
Externale Strategie
Items differenzieren empirisch zwischen Gruppen
Theorie zweitrangig, Differenzierungsleistung zentral
Kerndifferenz
Deduktiv → Theoriegeleitet
Induktiv → Datengeleitet
Kriteriumsorientiert → Klassifikationsziel
Extern → Gruppendifferenzierung
2.2.2 Itemformulierung
Formen von Items
Direkte vs. indirekte Fragen
Indirekte oft valider
Hypothetische vs. biografische Fragen
Biografische meist zuverlässiger
Konkrete vs. abstrakte Fragen
Konkrete besser verständlich
Personalisierte vs. depersonalisierte Fragen
Personalisierte präziser
Emotionsneutral vs. emotionalisierend
Inhaltskategorien
Selbstbeschreibung
Fremdbeschreibung
Biografische Fakten
Eigenschaften
Motivation
Wünsche/Interessen
Einstellungen
Regeln guter Itemformulierung
Klar und verständlich
Keine Negationen oder Doppelverneinungen
Keine Universalausdrücke
Zielgruppengerecht
Klare Zeitangaben
Nur eine Aussage pro Item
Zu vermeiden
Kurzlebige Inhalte
Suggestivfragen
Moralisierende Inhalte
Heikle Themen
2.3 Antwortformate
Freie Antwortformate
Keine Antwortvorgaben
Nominal oder ordinal auswertbar
Beispiel: Kurzaufsatz, Ergänzungsaufgaben
Risiko zusätzlicher Einflussfaktoren (z. B. Sprachfähigkeit)
Gebundene Antwortformate
Vorgegebene Antwortoptionen
Müssen exhaustiv und disjunkt sein
Ordnungsaufgaben
Zuordnungsaufgaben
Umordnungsaufgaben
Auswahlaufgaben
Dichotom
Single-Choice
Multiple-Choice
None-of-the-above
Distraktoren plausibel
Partial-Credit möglich
Beurteilungsaufgaben
Ratingskalen / Likert-Skalen
Meist 5–7 Stufen
Unipolar oder bipolar
Mittelkategorie mit Vor- und Nachteilen
„Weiß nicht“-Option möglich
Asymmetrische Skalen bei Bedarf
Kernfazit
Effizient und objektiv, aber hohe Konstruktionsanforderungen
2.4 Itemauswahl
Qualitative Verständlichkeitsanalyse
Prüfung auf Verständlichkeit und Zielgruppenangemessenheit
Retrospektive Befragung
Debriefing
Verhaltenskodierung
Kognitives Vortesten (Lautes Denken)
Itemanalysen
Itemschwierigkeit
Anteil merkmalskonformer Antworten
Hohe Werte → leicht
Niedrige Werte → schwer
Itemvarianz
Differenzierungsfähigkeit
Mischung verschiedener Schwierigkeiten sinnvoll
Trennschärfe
Korrelation mit Gesamtwert
.30 erwünscht
Negative Werte → entfernen
Faktorenanalyse
Exploratorisch (EFA)
Konfirmatorisch (CFA)
Faktorladungen > .30 relevant
Mehrfachladungen kritisch prüfen
Weiterer Ablauf
Ungeeignete Items entfernen
Evaluationsstudie mit repräsentativer Stichprobe
Validierung (konvergent, diskriminant)
Revision bei Bedarf
Kernfazit
Statistische Auswahl geeigneter Items vor finaler Testversion
2.5 Normierung
Repräsentative Normstichprobe erforderlich
Normdaten aktuell halten
Separate Normen bei Gruppenunterschieden
Normierungs-, Pilot- und Evaluationsstichproben trennen
2.6 Computerbasierte Testkonstruktion
Vorteile
Multimedial
Interaktiv
Dynamisch
Realistischere Konstrukterfassung
Computerbasierte Itementwicklung
Komplexe Stimuli (Audio, Video, Animation)
Authentische Aufgabenformate
Barrierefreiheit
Neue Antwortformate (Drag & Drop, Hotspot, Simulation)
Automatische Auswertung möglich
Computerbasierte Testentwicklung
Automated Test Assembly (ATA)
Automatische Itemauswahl nach psychometrischen Kriterien
Einsatz bei adaptiven Tests und Multistage-Tests
Navigation
Unit-Struktur
Adaptive Tests ohne Rücksprung
Filter- und Branching-Regeln
One-Item-One-Screen-Prinzip
Kurzfazit
Realistischere Aufgaben
Individuelle Anpassung
Höhere Fairness
Automatische Auswertung und Steuerung