Please enable JavaScript.
Coggle requires JavaScript to display documents.
第九章 效度的分析 - Coggle Diagram
第九章 效度的分析
如何提升
提升測驗信度
改良測驗
改變測驗結果的解釋與推論範圍
調整受測者接受測驗的心態
意義
測驗是否有測量到想要測量的能力或潛在特質
只能間接評估，沒有辦法計算出來
對測驗目標的科學研究>>蒐集證據來了解測驗分數的意義
評估方法
測驗內容相關的效度證據
內容取樣的正當性
測驗內容是否有清楚的陳述
內容涵蓋測驗目標能力的重要概念
題目設計可以測出所欲測量的內容
用德懷術來獲取專家共識
理論建構相關的效度證據
發展測驗前，先對測量概念建立理論架構，蒐集各項行為指標來驗證是否符合理論建構的預期
建構：看具體行為與抽象概念之間的關係
蒐集到的指標越多，且相關情形與預期符合=建構相關效度證據越完整
驗證方法
分析相關概念與無關概念間的相關
因素分析法>>因素只是對測驗的建構提供間接的證據
實驗控(or訓練)前後的分數差異比較>>經過訓練或操弄之後分數有提升，代表有測量到該能力
用多種方法評量多項特質的相關係數矩陣>>用不同測驗測同一特質，且效度都不錯，結果有高相關，可以稱"有聚合效度"
不同群體的分數比較>>要先確定題目對不同群體會不會產生試題差異功能，確定沒有才可以進行不同群體的分數差異比較，才適合作為驗證測驗建構效度的證據
決策與預測行為(效標關聯)的效度證據
評估測驗可以用來進行哪些決策、預測哪些行為
同時效度
測驗分數與現有決策結果或行為指標間的相關
通常是已經篩選過的群體，與未來施測的母群體對象不同
預測效度
先蒐集測驗分數，再追蹤受測者未來的行為表現或接受決策的結果
效標：用來評估測驗有效性的決策結果或行為指標
要經過一段時間才會再去蒐集受測者的行為表現，所以干擾因素很多，要在決策後獲得效標分數才可以計算效度
效度被低估，因為
用來驗證效度的受測群體是經過篩選的偏態群體，會導致同時效度、預測效度被低估
測驗分數與相關行為指標間的同質性不高，會導致兩種效標關聯效度的相關係數較低
測驗分數與相關行為指標的測量誤差會降低兩者間的相關
接受測驗與接受效標測量時的心態與動機不同，導致表現出來的能力有差異，使效度被低估>>要營造相同的情境
同時效度與預測效度的蒐集程序造成的效度低估現象，同時效度的兩個受測群體不完全相同；預測效度的分數與行為蒐集時間差太久，有很多干擾因素
應用
協助解釋測驗結果
協助決策與預測行為表現
電腦軟體應用