Please enable JavaScript.
Coggle requires JavaScript to display documents.
Messen und Bewerten (Gütekriterien und Verfahren) - Coggle Diagram
Messen und Bewerten (Gütekriterien und Verfahren)
Gütekriterien
Reliabilität (Formales Kriterium)
Split Half Reliabilität
Paralelltestreliabilität
Wiederholungsreliabilität
Konsistenzanalyse
Negativ ist: Ungenaues Messinstrument, Umgebungsfaktoren, Temporäre Veränderung des Probanden, Ungenaue durchführung)
Validität (Inhaltliches Kriterium)
Empirische/Vorhersagevalidität = Kann der Test ein best. Verhalten hervorsagen
Konstruktvalidität = Erfassung von Konstrukten nur Anhand einer Theorie mgl.
Inhaltsvalidität = Test soll Persönlichkeitsmerkmal in optimaler Weise Repräsentieren
Herstellung: Übereinstimmung von Untericht und Testinhalt, Operationalisierung der Lernziele, genau festlegen welches Verhalten als kritierium fungiert.
Objektivität (formaler Kriterium)
Auswertungsobjektivität = Ergebnisse sollen unabhängig vom Untersucher sein
Interpretationsobjektivität = Aus gleichen Ergebnissen sollen auch gleiche Schlüsse gezogen werden.
Durchführungsobjektivität = gleiche Bedingungen für alle Prüflinge
Herstellung: Vereinheitlichung von Bedingungen, gleiche Situative Bedingungen, (Schwierigkeitne mit Personalen Faktoren), Kriterienkatalog, Schulinternes Bezugssystem, geschlossene Antworten, feste Bewertungsregeln und fester Bewertungsschlüssel
Nebengütekriterien: Normierung, Nützlichkeit & Zumutbarkeit, Ökonomie, Vergleichbarkeit, Akzeptanz
Schulleistungstests
Formelle SLT (zB. RT9+)
Normorientiert
Konstruktion normorientierter SLT
Testdurchführung an einer kleinen Stichprobe
Aufgaben & Testanalyse mit Daten der ersten Stichprobe
Vorerprobung an wenigen Fällen
Testvalidierung
Aufgabenkonstruktion
Testeichung an einer für den Anwendungsbereich repräsentativen Stichprobe
Analyse der Lehrpläne
Einsatzmöglichkeiten (Schulklasse und Forschungsfragen)
Vor und Nachteile
Gute Gütekriterien, gerrechte Selektion, vergleiche, summative Evaluation
negative mot. & soz. Folgen, nicht für alle Fächer, Veränderung der Bewertungsstrategie der LK
Kriteriumsorientiert
Konstruktionsphasen
Curriculare Analyse
Aufgabenkonstruktion
Abgrenzung der Unterrichtseinheit
(4. empirsche Aufgabenanalyse)
Nötige Schritte = Quantifizierung des Lehrziels, Quantitative Erfassung der Schülerleistung, Grenze ab wann Lehrziel erreicht
Unterschiede zu Normorientieren Tests = einsatz wo großes Gebiet beherrscht werden soll vs. grundlegende Fähigkeiten werden getestet
summativ / formativ , allg. / Fächerspezifisch
Gütekriterien formeller SLT
Reliabilität = In der Regel alle 4 Arten berücksichtigt auf Basis der Stichprobenerhebung
Validität = analyse der Lehrpläne gut aber Lerngelegenheit nicht berücksichtigt, Vgl mit Stichprobe/Schulnoten
Objektivität = sehr gut bei geschlossenen & offenen Aufgaben
Informelle SLT
Konstruktion informeller SLT = von den 7 Schritten nur 1,2 & 5 durchgeführt
Gütekriterien informeller SLT
Reliabilität = In der Regel keine Erhebung
Validität = E.V. keine Erhebung, IV besser als bei formellen SLT, da curriculare Validität durch Analyse der Lehrpläne
Objektivität = besser als schriftliche Prüfungen, bei gebundenen Antworten maximal, sonst Kriterienkatalog notwendig, keine Normierung
Unterschiede zu formellen SLT
Konstruktion durch Lehrer
nicht an Stichproben geeicht
Orientierung an päd. Bedürfnissen von Klassen, unterrichtsnah, direkt auf Lehrziele bezogen
Korrektur: Orientierung an Klassennorm oder Lernzielen
Vor und Nachteile
gute Erfüllung der Gütekriterien, besser als herkömmliche Leistungsbeurteilung, ökonomischer als formelle SLT, unterrichtsnah, schnelle Korrektur
Gütekriterien weniger gut erfüllt als bei formellen SLT, aufwändiger zu erstellen als traditionelle Leistungsbeurteilung, Aufgabenanalyse erst im Nachhinein
Klassische Formen der Notengebung
Mündliche Prüfungen
Arten von mdl. Prüfungen = Disputation, Vortrag, Abhören, Gruppenüberprüfung
Hinweise für mdl. Prüfungen (Ingenkamp): Fragen vorher vorbereiten und Gespräch planen, Fragekarten, Unabhängiges Protokolieren, Entspannte Atmosphäre
Kritik bzgl Gütekriterien und Verbesserungsmöglichkeiten
Kritik
Reliabilität: nicht vorgesehen
Validität: Beeinträchtigt durch situativen Charakter, Fragen z. T. nicht repräsentativ, nicht übereinstimmung von mdl & schriftlicher Noten
Objektivität: nicht die selben Bedingungen, richtig/falsch vage bestimmt, schnell sprechen wird gut Bewertet
Verbesserung
Reliabilität
Validität: formulierung der Fragen vorab, Berücksichtigung der Lerngelegenheit, überprüfung mit anderen Noten
Objektivität: Formaler Rahmen, Auslosen von Fragen, Vorbereitungszeit geben, Kriterienkatalog einsetzen
Alternative Verfahren
Portfolios
Merkmale = aktive Beteiligung der Lernenden, keine Momentaufnahme
Probleme = Hoher Zeitfaufwand, Schulung der LK nötig, Gütekriterien schlecht
Handlungsbewertung
Schüler leisten oder produzieren etwas, tieferes Verständnis nötig für Schlussfolgerungen, SuS rechtfertigen, erklären & verteidigen, Aufgabe nicht eindeutig lösbar. Wichtig = Angabe der Beurteilungskriterien und bestimmen von situativen Umfeld
Schriftliche Prüfungen
Klassische Formen & Vor + Nachteile
Aufsatz, freie Hausarbeit, Klassenarbeit, Tests/Testähnliche Verfahren
Vergleich mdl. & schriftliche Prüfungen
Vor und Nachteile in Abgrenung zu SLT
Lerngelegenheit berücksichtigt, intrinsisch Motivierend(kann), umfassende Rückmeldung für SuS & LK
Gütekriterien schlechter, hoher Korrekturaufwand
Kritik bzgl Gütekriterien und Verbesserungsmöglichkeiten
Kritik
Validität: durch mangel an O. und R. auch nicht gut, schwierig , nur ein Gebiet zu überprüfen
Reliabilität: nicht stabil, da Leistungsbeurteilung eine Momentaufnahme ist
Objetivität: Recht gut, aber klasseninternes Bezugssystem zählt, Bezugsmaßstäbe sind unterschiedlich
Verbesserung
Validität berücksichtigung der Lerngelegenheit, Überprüfung von Zsmhang mit anderen Prüfungen
Reliabilität= Operationalisierung ler Lernziele, Orientierung am Kriterienkatalog
Objektivität: Schulinternes Bezugssystem, Kriterienkatalog, Mehrere Beurteiler
Notengebung allgemein in der Schule
Beurteilungsfehler
Beim Prüfer = Konfabulationseffekte(Schemata), Self Fulfilling Prophecy, Pygmalion Effekt, implizite Persönlichkeitstheorien, Projektmechanismus
Klasische Tendenzen = zur Mitte, Milde/Strenge Effekt, Halo Effekt, Logische Fehler
Beim Beobachtungsprozess = Aufmerksamkeit/ Ermüdung, Beobachtungsbericht als Fehlerquelle, Kontrasteffekt, Reihungs und Schwankungseffekte
Funktionen der Notengebung: Kontrolle, Bericht & Information, Berechtigung, Auslese, Motivation, Disziplinierung, Rückmeldung & Steuerung des Lernprozesses
Zusammenstellung sachfemder Einflüsse = 1.Benotung & Sympatiebeziehung, Vorinfors über SuS, Geschlechter, Klassengröße, Fachfremde Beurteilungskriterien, Schulortspezifische Benotung, Soz Schicht und Benotung
Funktionen von Diagnostik: Nach Heller: Didaktische Fkt, Evaluative Fkt, Entscheidungs Fkt