WS 10: Statistische Auswertung

Vorgehen

Sorgfalt bzgl. Kodierung & Zuordnung von Daten zu Probanden und Bedingungen

nachvollziehbares und begründetes Festlegen von Ausreißerwerten / nicht verwendbarer Daten

Prüfung der statistischen Hypothese mit geeignetem Verfahren

Berücksichtigung von Signifikanz & Effektgröße

Subjektivität statistischer Tests beachten

wichtige Themenbereiche

Explorative Datenanalyse (immer vor Signifikanztests)

Aggregieren von Daten (= Kondensieren von Daten für Software)

Nutzen von statistischen Softwarepaketen

Wozu Statistik

Prinzip des statistischen Testens

Grundlegende Alternativen beim Testen

Entscheidungsbäume image

Metaanalyse

Lösungen im Vergleich

Inferenzen: schlussfolgern (von Stp auf Population)

Stochastik ("Mutmaßen")

Statistik (deskriptiv vs. schließend)

Zentrale Begriffe

Stichprobe

Stichprobenkennwerte/Statistiken (z.B. Häufigkeitsverhältnis, Mittelwert-sveränderung)

Zufallsannahme (H0): Kennwerte entstanden durch unsystematischen Zufall

Annahme eines systematischen Effekts (H1): Stichprobenkennwerte sind zu extrem für Zufall

Stichprobenkennwerteverteilung: Wkeitsverteilung für einen Stichprobenkennwert unter H0 (Testverteilung, z.B. Binomialverteilung)

Ablehnungsbereich: Bereich der (z.B 5%) unwahrscheinlichsten Stichprobenkennwerte unter H0

Beispiel Binomialverteilung

Verteilung für Häufigkeit eines Ereignisses bei zwei Ereignisalternativen

viele Durchgänge + große Auftretenswkeit --> Normalverteilung als Schätzer (zentraler Grenzwertsatz)

p-Wert: Wkeit unter Zufallsannahme

Rechenbeispiel siehe Vorlesungsfolien

Binomiallösung --> Nominalskalenniveau?

Bootstrapping/Resampling Lösung

Werte neu zusammenwerfen

möglichst oft Werte zufällig auf zwei Gruppen aufteilen (alle möglichen Anordnungen = Permutationstest)

jeweils Mittelwertsdifferenz berechnen

Abtragen der relativen Hkeiten der Mittelwertsdifferenzen --> Stichprobenkennwerteverteilung

Fazit: Bootrstrapping = aus den eigenen Stpdaten künstliche Stp herstellen + Testverteilung basteln

t-Test (Standard)

  1. Annamen über Population
  1. Testverteilung auf Basis der Annahmen
  1. Abgleich Stpkennwert mit Testverteilung

Vorwurf: Effekt in Population existiert immer, Frage ist nur wie groß

Übersicht

  1. Aufstellen Arbeitshypothese
  1. Aufstellen Nullhypothese
  1. Konstruktion Verteilung der Statistik unter H0
  1. Daten sammeln
  1. Vergeich Stpstatistik mit Verteilung
  1. Ablehnen oder Beibehalten HO
  1. Arbeitshypothese ist bestätigt oder man enthält sich des Urteils

Bayesianisches Testen

"Wie wahrscheinlich ist eine (konkrete) Hypothese wahr auf der Basis eines Datenmusters/Stichprobenkennwerts?"

prior probability --> muss subjektiv bestimmt werden

posterior probability --> angesichts der Daten

verschiedene Skalenniveaus

Vorteil "Abwärtstesten": wenig Annahmen, einfache Durchführung

Nachteil: verschenkte Information, geringere statistische Power

verschiedene Konstruktion der Testverteilung

Vorteil Bootstrapping: einfachere bzw. gar keine Annahmen über Population

Nachteile Bootstrapping: Annahmen müssen nicht automatischer richtig sein

Vorteile Bayes: unwahrscheinliche Lösungen haben es schwerer, Bestimmung der Wkeiten für Hypothesen möglich

Nachteile Bayes: subjektive priors, auch basierend auf signal-to-noise-ratio

Schritte

Sammeln + Kategorisieren von unabhängigen Experimenten/Studien

Bestimmung von Stichprobengröße und Effektgröße

Einbezug von Studien, die keinen Effekt gefunden haben

Errechnung einer "Über-Alles"-Effektgröße (inkl. Signifikanztest)

Probleme & Grenzen

File-drawer/publication bias

GIGA-Problem

Apples-Oranges-Problem (Vergleichbarkeit der Studien)