Please enable JavaScript.
Coggle requires JavaScript to display documents.
Serious Games - 8- Evaluation (Welche Verfahren werden genutzt?…
Serious Games - 8- Evaluation
Motivation
User Experience & Serious Games
Definition
"The Idea of using games for a purpose other than fun..."
Ziel
Nutzen für den User
Was sollte man evaluieren?
Entwicklung von Metriken zur Messung, Analyse und Bewertung
Planung des methodischen Vorgehens
Versuchplan und Ablaufplan
Versuchsdesign
Zielvariablen
Messverfahren
Durchführung
Instruktion und Datenerhebung
Auswertung
Datenbeschreibung
Datenanalyse
Interpretation
"Evaluation ist für viele Anwendungsbereiche notwendig um Aussagen über die Wirksamkeit treffen zu können"
Was kann man evaluieren?
Hauptfragestellung:
User Experience: Wie wird das Spiel erlebt?
Wirkung: Welchen Nutzen bringt das Spiel?
Abhängig von Zielsetzung
Evaluationsziele
Übergeordnetes Ziel
Effektivität -> Spezifisches Kriterium
User (Experience)
Emotionen -> Erleben
Kognition -> Wissensstruktur
Performance -> Leistungsfähigkeit
Psycho_physioligie -> Belastung
Welche Evaluationssätze gibt es
User Experience
Definition
Kontext
Immersivität
Sound/Sehwinkel
Beleuchtung/Lärm
Spieler
Persönlichkeit
Preferencen
Fähigkeiten
Motorik
Kognition
Game
Usability
Verständlich / intuitiv
Bedienbar
Spiel Elemente
Freiheiten & Individualisierung
Feedback & Veränderungen
Storytelling (Plot, Charaktere)
Multiplayer
Interaktionsmodi
alleine, parallel
kooperation, abhängig
Konkurrierend, kompetetiv
"alles voneinander Abhängig" = Zustand Flow
Flow Zustand
Definition
absolut involviert in Handlung
Handeln um der Handlung Willen
Aufgabe hat ideale Passung an Fähigkeit
Bindet volle mentale Aufmerksamkeit
Handlung verursacht große Freude
"Adaptiv: Mit zunehmender Fähigkeit muss das Spiel die Schwierigkeit anpassen."
Welche Verfahren werden genutzt?
Beobachtung
Projektiv/assoziative Verfahren
Projektive Verfahren
Grundidee
Uneindeutiges Material muss durch den Betrachter interpretiert werden
Die Interpretation des Materials lässt Aussagen über den Betrachter zu
Es existiert ein Zusammenhang zwischen Interpretationskategorie und Persönlichkeit / Zustand des Betrachters
Projektive Verfahren heute unüblich
Kognitionstests arbeiten mit Bahnung (Proming) assoziativer Netzwerke
Assozioative Netzwerke
Wahrnemen und Denken sind nicht zufällig
Der emoitionale Zustand und das Vorwissen einer Person entscheiden darüber, was man erkennt und welche Assoziationen man dazu ausbildet
Beispiele
Erinnerungen
Schuldzuweisungen
Feindseligkeit
Lexikalische Verifikation
Erkennen von Gesichtsausdrücken
Selbsteinschätzung
Fragebogen
Erhebungsmethode
Abfrage der Selbsteinschätzung
Aufbau
schriftlicher Instruktionstext
Eindeutige Abstufung
konkretes abgefragt
keine doppelten Fragen
keine Verneinungen
überschaubare Antwortdimensionen
Auswertung
Zuordnung Items zu Kategorien
Interpretation an Hand von Normstichprobe
Psyhcophysiologie
Begriffserklärung
"...indem wir nur die direkt am Körper gemessenen Größen, wie z.B. die Brustumfangsänderung, Biosignale nennen. Daraus abgeleitete Funktionsmaße, wie z.B. Atemfrequenz und Atemteife, bezeichnen wir als psychophysiologische Indikatoren...."
Anhand der psychophysiologischen Daten lassen sich Aussagen über den Erlebenszustand der Person machen
Emotionstheorie
Schachter und Singer 1962
Emotionen bruachen physiologische Änderungen
Russel 1980
Emotionen bestehen aus Valenz und Arousal
Schandry 2003
Hirnaktivität
Subjektives erleben
Physiologie
-> Handlungen sind Folge von Emotionen
Experimente
Hautleitfähigkeit (EDA)
Elektrokardiographie (EKG)
Elektroenzephalographie (EEG)
Elektromyografie (EMG)
Pupillenänderung
Mimik
Was ist Evaluation
"Evaluationsforschung beinhaltet die systematische Anwendung empirischer Forschungsmethoden zur Bewertung des Konzepts, des Untersuchungsplanes, der Implementierung und der Wirksamkeit sozialer Interventionsprogramme."
Wie werden Ergebnisse abgesichert?
Methodisch
experimentell
Wiederholbar
variierbar
willkürlich
-> Herstellen der Bedinungen
-> randomisierte Zuweisung
-> Kontrollieren von Störvariablen
Hypothesen prüfend
-> kausale Interpretation möglich
Statitische Prüfung
beurteilung anhand mahtematischer Regeln
Kennwerte
Annahmeregeln
Welche Informationen müssen berichtet werden?
Was wird berichtet?
Stichprobe
Testverfahren
Daten aggregation
Abhängige Variablen
Wie wird berichtet?
Deskriptiv
Inferenzstatistik
Grundregeln!
Aussagen werden anhand der empirischen Ergebnisse belegt!
Die Darstellung ermöglicht dem Leser eine eigene Einschätzung der Interpretation!
Darstellung der empirischen Ergebnisse und Diskussion/Interpretation der Ergebnisse sind zu trennen!
Wie beurteilt man die Qualität von Testverfahren?
"Ein guter Test sollte objektiv, reliable und valide sein
Gütekriterien
Objektivität
Durchführung
Auswertung
Interpretation
Relibilität
"Unter Reliabilität oder Zuverlässigkeit eines Tests verstehtn man den Grad der Genauigkeit mit dem er ein bestimmtest Persönlichkeits- oder verhaltensmerkmal misst, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht
Paralleltest
Retest
innere Konsistenz
Validität
"Die Validität oder Gültigkeit eines Tests gibt den Grad der Genauigkeit an, mit dem dieser Test dasjenigie Persönlichkeitsmerkmal oder diejenige Verhaltensweise, das (die) er messen oder vorhersagen soll, tatsächlihc misst oder vorhersagt."
Konstrukt
Inhaltlich
Kriterien bezogen
Ökonomie
Durchführungszeit
Materialverbrauch
Handhabung
Auswertungsaufwand