Please enable JavaScript.
Coggle requires JavaScript to display documents.
第二章 各式測驗編制技術 - Coggle Diagram
第二章 各式測驗編制技術
決定測驗目標
技能
知覺(感官>>觀察、分辨)
準備(身心理處於即將開始活動的狀態)
引導反應(模仿、嘗試錯誤學習)
自動化(學習者已熟練該動作技能)
複雜反應(能將動作結合，評量轉換的流暢性、協調性)
適應(針對環境重組動作技能)
創新(結合現有知識技能，改善所學動作或做出更具美感與高功能性的作品)
認知
知識向度
概念知識
類別知識、原理、通則、理論、組織結構
程序性知識
特定事物的演算方法、判斷規準、方法
事實知識
詞彙、術語、事實
後設認知知識
知道並運用自己有的知識、策略
動作歷程向度
記憶
再認(是非、選擇)；回憶(簡答、申論)
理解
轉譯
用不同方式的表達概念
解釋
能用概念說明現象的原因與理由
摘要
舉例
分類
推論
用概念推測事件後果、即將發生的現象
應用
應用題、實作題
分析
辨別出與概念有無關係的成分；確定個成分之間的關係與組織
評鑑
創造
情意
接受
學生能接受教師要傳達的價值觀or態度
被動察覺>>願意接受>>選擇性注意
測驗：在教室中放置相關的資訊，觀察學生是否會發現
反應
對於教師傳達的價值觀與概念做出回應與行為
勉強反應>>願意反應>>樂於反應
評價
對學到的價值觀開始思考，感到有價值與喜愛，並積極與重視
組織
把學到的價值觀與個人過去的價值觀相結合
過程：同化>>調適
品格化
把學到的價值觀融合到性格特質中，日常會展現
編製題目與修審題目
選擇適當題型
實作技能
行為檢核表、評定量表
優
不怕題目外洩
缺
費時(一次一人)、易有觀察者偏誤
認知
基礎
選擇反應題型
選擇、是非、配合
優
客觀、作答快、計分方便
缺
不易設計
較高層次
建構反應題型
簡答、申論
優
易設計、避免亂猜
缺
作答費時、計分費時、易受主觀影響
性格或態度
評定量表
優
可同時多人評量、無對錯之分(避免亂猜)
缺
限制於"受試者誠實性"、"社會期許傾向"
題目設計流程與原則
流程
界定測量特質內容細目
↓
列出細目的具體行為
↓
選出較具代表性的行為
↓
具體行為轉為文字敘述
↓
修飾與精簡題目敘述
原則
盡可能多列出"欲測量特質"相關具體行為
盡可能選不同情境來呈現具體行為
考慮施測對象，調整題目的程度值
反覆檢查題目與欲測量的潛在特質是否有關
題目的修改(審查)
兩方面
表面特性
是否符合命題原則、敘述是否明確、選項性質是否相似
內容
題目條件敘述是否充分、是否有暗示答案的線索、答案是否有爭議
建立測驗藍圖
定義
將潛在特質進行細分，並建立出測驗架構
目的：界定測驗題目範圍、題數、重要性比例
教育領域
又稱"雙向細目表"
包含：課程內容範圍、教學目標
範例
認知(知識、理解)、技能(知覺、自動化)、情意(反應)
(認知領域)記憶、理解、應用、分析、綜合
題目預試與試題分析
試題分析流程
層次
單一題目
難易度、鑑別度、選項誘答
整份測驗
整體效能，包含信度與效度
步驟
檢查作答反應
確認作答的可靠性
讀卡、key-in資料
將作答轉成電子檔
檢查原始資料檔
確認上一步驟的正確性
撰寫分析程式
用於分析預試資料
試題分析
產生試題分析結果
輸出與檢查結果
解釋、討論題目效能
題目預試
聯繫與安排施測
監試人員必經訓練
施測流程、說明測驗指導語、記錄與回應施測過程中所遇到的問題
預防受測者背題、抄題<<避免題目曝光<<高風險測驗
組題與印製題本
與預試的目的有關
原則
正確性
題本內容必須正確
可讀性
字體樣式大小、圖表清晰度、空間配置
時效性
施測前幾天就要印好，放在監試人員領取的地方
抽樣
抽選具有代表性的受測者，以這些試題分析結果推論到目標群體
隨機取樣
隨機亂數
重要變項上的人數比例不一定與母群體相同
分層隨機取樣
依重要變項分層後抽樣
避免隨機偏誤
立意取樣
根據研究主題有目的性的選取樣本
受測樣本取得不易
叢集取樣
受試者群體一起測
將一個群體當作可被抽樣的單位
監試與紀錄
蒐集受測者接受測驗時的詳細資訊
發現測驗題目的問題
避免討論、抄襲、抄題；最常蒐集：作答時間、情緒
組合題本或建置題庫
建置題庫
將符合測驗目的的試題納入一套資料庫與管理系統
耗費人力、物力、時間>>非經常施測沒必要建題庫
題目資訊
試題內容
文字、圖像、選項
非心理計量資訊
能力類型與內容範圍、字數、預計作答時間、相依試題、修審題記錄、預試記錄、命題者、命題日期
心裡計量指標
難易度、鑑別度、個選項選答人數比例
試題反應理論：難度參數、鑑別度參數、猜測參數
問題
題庫系統類型
紙本與電腦
預試設計與試題連結
對等組設計
盡量讓每組受測者能力水準相同
共同題設計
在每個題本都放入一些共同題目(定錨試題)
利用不同受測群體在共同試題上的結果來調整兩份試題的難易度
最好共同試題要是原題本的四分之一以上
試題維護與更新問題
可能使用過曝光
年代久遠不適用
需要重新調整難易度
組合題本
題本編排方式
題型
先選擇反應題，再建構反應題
方便計分、方便作答、控制作答時間
題目內容
不會造成受測者的認知負擔
方便對各內容計分
難易度
能力測驗(由簡單到困難)
撰寫測驗說明
確保正確施測；避免誤用
測驗指導手冊
測驗目的、施測方式、作答方式、注意事項、計分方法、常模與解釋的方式、各項心理計量指標、測驗的限制
簡易
測驗目的、施測方式、作答方式、注意事項
選題原則
各內容的題數比例(依據測驗藍圖)
難易度
鑑別度的要求
要設定所要達到的測量精準度目標
傳統測驗
設定信度要多高
試題反應
目標訊息量要多高