Please enable JavaScript.

Coggle requires JavaScript to display documents.

VL 5: Beurteilung der Testgüte I (Reliabilität und Validität) (Methoden…

- - - - jedes Item als eigener Test für Merkmal, Items mit unterschiedlicher Schwierigkeit (-> Konzept der ess. tau-Äquivalenz), Test wird in so viele Teile geteilt, wie es Items gibt -- Vorteil: Items müssen nicht parallel/ähnlich sein (wie bei den anderen Methoden), sondern können unterschiedlich schwierig sein
      - Items messen alle dasselbe Merkmal,
      - Interne Konsistenz eines Tests ist umso höher, je höher die Korrelationen zwischen den items im Durchschnitt sind.
    - - essentielle Tau-Äquivalenz:
        
        Items messen den gleichen wahren Wert, aber unterschiedlich gut (nicht mehr gleiche Trennschärfen); essentiell heisst, sie können um eine additive Konstante verschoben sein (alle Leute gleich gut, nur verschobene Punktzahl)
        
        Tau-Ä.: gleiche wahre Werte der Items / Testteile, aber verschiedene Fehlervarianzen vorausgesetzt (Items haben untersch. Rel)
        
        essentielle Tau-Ä.: Rel setzt sich dann zusammen aus dem gleichen wahen Wert t aller Items plus einer itemspezifischen additiven Konstante,
      - Unkorreliertheit der Fehler (vgl. KTT)
      - trifft nur Annahme 2 zu, ist Cronbachs Alphal die untere Schranke für die Rel
      - pro
        
        Test muss nur einmal durchgeführt werden
        
        keine Parallelform des Tests, noch Zuordnung von Items zu Testhälften notwendig
        
        einfacher durchzuführen als die anderen Rel.schätzungen und weit verbreitet
        
        gut für eng abgegrenzte Merkmale, z.B. Grundlagenforschung Diff
      - kontra
        
        nur wenn Annahme, dass alle Items dasselbe Merkmal erfassen, gegeben, dann Rel gut geschätzt (homogene Items)
        
        wenn Annahmen nicht erfüllt, Items heterogen, dann Rel unterschätzt
        
        nicht gut für breite Merkmale in angewandter Psy, z.B. A&O "Arbeitsunterbrechungen" (können viele Ursachen haben, ist aber nicht wichtig, sondern Stress soll erfasst werden), interne Konsistenz gering (Rel wird unterschätzt), aber hohe Vorhersagevalidität + hohe Retest-Rel möglich, sofern zeitlich stabiles Merkmal
  - - - Populationsvarianz: alle im Rahmen der KTT erhaltenen Werte als Korrelationen oder Varianzanteilen abhängig von der Population. Konzept der zufälligen Messfehler sollte aber logisch unabhängig von Population sein (Bsp: Int.messung an Schulkindern (höhere Rel, da breitere P.) vs an Realschulkindern (mittlerer Bereich der Intelligenz -> Varianzeinschränkung) )
- - - - Theorie postuliert Zusammenhänge (zwischen einer Reihe von Konstrukten, die dem angestrebten konzeptuell nahestehen, s. konverg. Validität) (=Axiome) und deren Beobachtung (B. soll mit Konstrukt korrespondieren) misst diese, wenn deckungsgleich, dann valide (empirische Gesetze)
      - es lassen sich Hypothesen ableiten, wie sich der Test zu anderen beobachtbaren Merkmalen verhalten soll. Lässt sich dies nicht empirisch zeigen, misst der Test das Konstrukt nicht, oder das theoretische Netzwerk war inkorrekt
      - aber: Konstrukte keine unverrückbaren Felsen, sind veränderlich
    - - empirische Bestimmung der Konstruktvalidität
        
        Gruppenunterschiede: Test sollte eindeutig zwischen den Gruppen unterscheiden können. Beispiel: Die Einstellung zur Kirche sollte bei Kirchgängern positiver sein als bei Nicht-Kirchgängern.
        
        Korrelationen und Faktorladungen: Tests zum gleichen Konstrukt sollten positiv korrelieren bzw. in einer Faktormatrix auf dem gleichen Faktor laden. (theoriegemäß nahe Konstrukte und weiter entfernte Konstrukte verwenden, damit man abschätzen kann, wie genau der neue Test das angezielte Konstrukt trifft)
        
        Interne Struktur: Items, die das gleiche Konstrukt erfassen, sollten positiv miteinander korrelieren. Aber: zu hohe interne Konsistenz kann Validität verringern. Auch faktorielle Struktur eines Tests wichtig (faktorielle Validität: wenn ein Konstrukt drei versch. Facetten hat, sollte Faktorenanalyse auch drei Faktoren liefern); wird häufig genommen, weil man keinen anderen Test dafür braucht
        
        Veränderung über die Zeit (Stabilutät / Entwicklungsverläufe): hohe oder niedrige Stabilität des Merkmals zeigt sich in Retest-Rel des Tests; postuliert eine Theorie Veränderung (gf und gc bei Intelligenz) kann man dies in Testergebnissen sehen. Passen diese zu Annahmen, dann Validitätsbeleg
        
        Veränderung durch experimentelle Intervention: Beispiel:EineDepressionsskala zeigt nach einer Therapie niedrigere Werte an als vorher.
        
        Untersuchung des Antwortprozesses: wie kommen Antworten zustande: z.B. Verständnisprobleme Instruktion, Sprachprobleme (Probleme werden miterfasst)
    - - Erfassung verschiedener Eigenschaften mit verschiedenen Methoden (z.B. Durchsetzungsfähigkeit u Aggressivität mit Fragebogen u Fremdbeurteilung), konvergente Validitäten sind höher als divergente V., wenn Konstrukt valide
      - konvergente Validität: Monotrait-Heteromethod: Korr eines Konstrukts mit dem gleichen Konstrukt, aber mit anderer Methode erhoben; Messmethoden sollten ja unabhängig sein deshalb sollte konvergente V. möglichst hoch sein, möglichst nah an Rel
      - divergente Validität: Heterotrait-Monomethod: gleiche Methode, aber zwei unterschiedliche Traits, die nichts miteinander zu tun haben sollten, sollten möglichst niedrig korrelieren
      - Idee: ein neuer Test zu einem Merkmal sollte hoch korrelieren mit anderen Methoden zur Messung dieses Merkmals (da Erfassung des Merkmals unabhängig von Methode sein sollte). Und er sollte weniger hoch korrelieren mit anderen Tests, die dieselbe Methode verwenden zur Messung eines etwas anderen Merkmals (da Tests ja nicht dasselbe Merkmal erfassen wollen).
  - - - zwischen Prädiktor (das zu validierende Verfahren) und Kriterium (woran valiiert wird)
      - Symmetrie: Idealzustand, Prädiktor deckt genau gleiche Teilaspekte ab
      - totale Assymetrie: Prädiktor erfasst etwas völlig anderes als Kriterium, keine inhaltlichen Gemeinsamkeiten, z.B wenn Prädiktor zu eng operationalisiert
      - partielle Asymmetrie: Prädiktor oder Kriterium zu eng operationalisiert
      - Hybride Asymmetrie