信度、效度、難度、鑑別度
信度的意義與特性 🏴
意義
特性
指穩定性或一致性
相對程度上的差異而非全有或全無的差別
不是一種普遍的特質
是一種統計的概念，越高越好
求法
實得分數(X)=真正分數(T)+測量誤差(E)
測驗誤差愈小，實得分數就愈接近真正分數
信度指數
指實得分數與真實分數之間的相關
信度係數
以重測法、複本法、折半法、庫李法、評分者方法等得到的反應誤差的係數
信度的類型 🏴
再測信度 ✏
複本信度 ✏
用同一種測驗，對同一群受試者，前後測驗兩次，再依兩次分數計算相關係數
可表明測驗經過一段時間後的穩定性，故又稱穩定係數
可提供有關測驗結果是否隨時間而變異的資料
易受練習和記憶的影響，且兩次測驗情境無法完全相同
當同一種測驗有兩種以上的複本時，可以將兩種複本分別實施於同一群受試者，再依兩次分數計算相關係數
又稱等值係數
不受練習與記憶的影響，但編製不容易
折半信度 ✏
先依正常程序施測，並將全不試題依單雙分為相等兩半，並分別計算每位受試者在兩半測驗的得分，再依兩次分數計算相關係數
又稱內部一致性係數
有偏低之趨向，須以斯布公式加以校正
簡便易行，但受試者回答時易受影響，且只能表示兩半測驗的信度，無法提供時間穩定性的資料
庫李信度與α係數 ✏
一種分析測驗項目間的一致性以估計信度的方法
只需施測一次即可計算其信度係數
庫李信度僅可應用於以二分法(如是非題)為計分標準的測驗上
評分者信度 ✏
公式:2×相關係數÷1+相關係數
係指不同的評分者或同一個評分者於不同時間，在測驗過程中觀察、記錄、評分、計分等各方面相互間的一致性而言
使用在對於一些無法進行完全客觀記分的測量工具
測量標準誤 🏴
毎次測驗所得之分數與真實分數的差會形成常態分配，而此測量誤差分配之標準差即為測驗標準誤(SEM)
SEM(測量標準誤)=Sx(測量的標準差)√1-Rxx(測驗的信度係數)
影響信度的因素 🏴
測驗的長度(題數較多):題數越多，信度越高
受試者的變異性:受試者特質分布越廣，信度係數也越大
間隔時間的長短:兩次測驗時間相隔愈短，信度也愈高
測驗的難度:測驗試題的難度要適當，信度才會高
評分之客觀
信度之估計方法
效度的意義與特性 🏴
意義
即正確性或有效性
指測驗能測出其所測量的特質或功能的程度，效度越高，表示測驗的結果愈能顯現其所要測量的特性
特性
係指測驗結果正確性的程度
是相對的而非絕對的，是程度上的差別
是特殊的而非普遍的
測驗工具最重要的條件
效度的類型 🏴
內容效度 ✏
指測驗內容的代表性或取樣的適切性
利用雙向細目表以判斷測驗的內容效度
又稱課程效度或邏輯效度
成就測驗較重視內容效度
編製測驗後，請學者專家檢視，即在提高測驗內容效度，故又稱專家效度
效標關聯效度 ✏
係以測驗分數和效度標準之間的相關係數來表示測驗效度之高低
實用性最高的一種效度
又稱實徵效度或統計效度
可分為同時效度及預測效度
同時效度
預測效度
指測驗分數與當前效標資料之間的相關而言
亦產生效標混淆
指測驗分數與將來效標資料之間的相關而言
效標的特性有四:適切性、可靠性、客觀性、可用性
中間效標&終極效標
建構效度 ✏
常用效標資料包括專業訓練等
指一個測驗能測量理論的概念或特質的程度
旨在以心理學的概念來說明測驗分數的意義
常是一種心理測驗所採用的效度，尤其是人格測驗
是涵義最廣的效度
考驗建構效度的方法
內部一致性:旨在檢驗測驗內部之品質是否測量相同的心理特質
外在相關法
因素分析法
團體差異分析
發展的改變與實驗之介入
多項特質-多項方法分析(輻合性效度與辨別效度)
信度與效度的關係 🏴
信度是效度的必要條件而非充分條件
信度高，效度未必高
信度低，效度一定低
效度高，信度一定高
效度低，信度未必低
測驗的常模 🏴
發展性常模
年齡常模
體內常模
單位並不完全相等，且有隨年齡縮小的趨勢
年級常模
只能適用於發展中的兒童
適用於教育成就測驗，以表示學生在校學業成就的水準
且年級單位有表示生長之涵義；單位不相等
百分位數常模
標準分數常模
其他常模類型:全國性常模；地區性常模；學校常模；特殊團體常模；校(定)準常模
鑑別度分析 🏴
難度分析 🏴
常模參照測驗的難度分析方法
標準參照測驗的難度分析方法
另一種求法，將某一題高分組答對百分比加低分組答對百分比再除以二
等距尺度特性的難度指數:公式為△=13+4x
試題的難易度，係以全體受試者答對或通過該題百分比表示表示該題的難度
難度P值之特性
難度△值之特性
標準參照測驗的題目的難度，應和事先設定的通過標準一樣
難度接近0.50最為理想，此時鑑別力最高
P值越大，難度越低；P值越小，難度越高
P值無法指出各難度之間差異的大小
△值越小，難度越低；△值越大，難度越高(與P值相反)
可以指出不同難度之間的差異與數值
意義
指測驗試題能區分受試者優劣好壞作用的大小
常模參照測驗的鑑別度分析方法
內部一致性的分析
外在效度的分析
目地在於檢查個別試題與整個測驗的作用之一致性
公式: D=PH(高分組通過人數的百分比)-PL(低分組通過人數的百分比)
鑑別指數越大，表示個別試題反應與測驗總分的一致性越高
標準參照測驗的鑑別度分析方法
教學前後的差異
接受教學與未接受教學的差異
公式: D=P post(教學後答對比率)-P pre(教學前答對比率)
公式: D=Pi(接受教學組對比率)-Pm(未接受教學組對比率)
難度與鑑別度之關係
精熟組和非精熟組的差異
難度是鑑別度的必要條件
試題難度P值越接近0.50，則其所能發揮的區別作用越大
鑑別度的值域介於1~-1之間，指數越高，鑑別度越大