Please enable JavaScript.
Coggle requires JavaScript to display documents.
第五章 實作技能測驗的題目設計 - Coggle Diagram
第五章 實作技能測驗的題目設計
類型(常見但不限於)
口語互動
單or多人
技能目標：心向、自動化、複雜反應、適應
語文、綜合活動、商管>>語言能力、人際溝通能力
評分重點：過程
1.口語表達向度：發音、流暢、語調
2.if溝通技巧重要：表情、肢體、傾聽技巧、掌握溝通重點
要設計互動者要對受測者說的話>>讓情境標準化
儀器操作
單人
技能目標：知覺、心向、自動化、複雜反應
自然科、工程機械
評分重點：過程(正確、熟練度)、成果(是否精確or色香味俱全)
但是測驗會比不上最新的儀器
表演、動作展示
單人
技能目標：自動化、複雜反應、適應、創作
體育、音樂、舞蹈
評分重點：過程>>邊看邊評分、看技能熟練程度>>評分者要專注
if是適應、創作>>以比賽呈現>>要構思如何呈現動作來符合比賽要求
熟練度>>標準動作、或其他正確的東西可以比對>>評分客觀
創作>>專家共識>>難客觀
計畫、執行
單人
技能目標：適應、"創作">>認知與實作技能的結合
設計、工程機械、商管
評分重點：過程、成果>>評估執行力
紙筆測驗
單or多人
技能目標：自動化、複雜反應、適應、創作
美術、設計、建築
評分重點：成果>>判斷技能表現
if涉及適應、創作>>會涉及認知能力>>要分開評分向度>>回饋才會有助於教學
工作樣本
單人
技能目標：複雜反應、適應、創作，包含：
1.認知的應用、綜合能力
2.實作的複雜反應、適應、創作
*展現緊急處理、合作協調、綜合判斷能力
醫護、教育、商管。ex.教育實習
評分重點：過程、成果>>從實際工作場所中執行的部分工作，了解受測者在其它實際情況所展現的實作能力表現
真實性最高的評量方法>>情境式測驗
真實工作場所發生的情境(文字、圖片、影片、實際場所)
要求受試者針對問題選出、答出、做出行為>>了解實務問題解決能力
分類
選擇題>>情境判斷測驗
申論or口試>>開放式情境問卷或面談
提供模擬or真實場地>>評量中心or工作樣本
提升測驗結果與實際工作表現的相關性
工作表現、實作技能<<專家共同決定核心職能<<工作分析
請另一組較差or佳的人來作答，並分析其得分，以了解測驗的鑑別度<<分析問題情境與評分項目的鑑別力
蒐集相關的關鍵事件作為題目or工作樣本的情境<<設計問題情境
請專家說明(不)適合性的理由<<作為評量依據、評分規準<<分析最佳與不佳作法
辨認測驗
技能目標：心向、知覺(圖、五官)
適用各種學科>>有明確答案、評分客觀
單or多人
評分重點：成果
只要求感官判斷>>沒操作>>簡單省時、同時多人施測
材料：圖片、影片、聲音...not文字敘述
設計流程
撰寫測驗指導語
影響測驗效度的文件
說明測驗要評量的內容&數量、可使用的儀器材料、評量時間、主要評分面向
必要時用圖片輔助
建立評量流程圖
施測中
說明測驗目標與步驟、依受測者編號施測、事先規劃突發狀況的處理方法
if過程評分，就要同步計分
施測後
規劃受測者離場方式、回收過程評分表的方式、場復
if成品評分，還要安排評分場所、監控評分客觀性的機制or步驟
施測前
題目說明、實作儀器、材料、評分規準表、訓練評分者、規劃施測場所
不能提前公告評分標準
建立評分規準、訓練評分者
必須要有
過程的評量
步驟的內容、順序之正確性、速度、精準度
拆解可以觀察到的動作
建立步驟的評判標穩
行為檢核表：常用
成果的評量
評定量表、成品對照表：常用
作品的準確性、符合目標的程度、實用性、創新性等向度
依技能特性建構出評分向度與評分標準
兼重過程與成果的評量
評定量表：常用
評估過程正確性、速度；作品的好壞
評量要用清楚的陳述句將行為過程、作品成果列入判斷標準
規畫實作問題、情境
找出能展現該目標技能的關鍵事件or動作
考量工作的複雜度、受測者的能力、評量時間與儀器材料
實作評量與檢討
評分程序改進
找出一致性較差的評分者，分析原因，作為未來甄選評分員的參考
訪問評分員，了解是否有項目在評分時有不適合or不足的地方
實作內容與材料的改進
繪出評分結果的次數分配圖
計算評分與平時表現的相關
檢討實作內容到底能不能區辨受測者的表現<<if偏離常態分佈
必要時可更換實作活動
可訪問受測者
了解實作內容、材料是否能讓其發揮應有的表現
施測程序改進
檢查試場紀錄表、觀看評量過程的錄影畫面
分析哪些程序會造成誤解、哪些能簡化、哪些安排可以更順暢
決定評量的目標與內容
重要面向
執行步驟
作為評分標準
特性
真實性比紙筆測驗更高，但不是真實評量
動作技能測驗特性
針對程序性知識>>按照某些程序進行操作所得到的結果
有些動作技能會涉及認知歷程>>要先了解或記得步驟並練習
有的著重過程或結果；也有兩者並重
實作評量
優點
強調應用、實用、統整能力>>結合多項不同歷程
實作評量引導學生從中學習，提高學生興趣>>培養未來所需的能力
情境接近生活，真實性較高>>在模擬or真實情況下實際執行
缺點與限制
測驗設計與評量過程費時費力>>設計情境、準備器具、評分規準、評分者訓練、有些實作有危險要有安全措施、一次只能對一個人評分
有很多因素影響評分者的客觀性
1.評分經驗、主觀感受>>要分析評分者信度
2.情境設計>>噪音、自由選題、受試者對題目要求的技能理解不同or對評分標準不清楚而沒有充分展現能力、很多觀眾會導致受試者緊張
評量結果不易推論到其他動作技能中>>無法類推
評量表設計
評定量表
使用相同的評分模式的試題組合成的評分表：定義
李克特量表：最常用評分模式
難判斷有無的過程、好壞優劣的動作：用於評量
分類
等級評量表
用受測者的相對表現排序給等級
人少的時候用
決定優勝者
分數式評定量表
人數多or受測者在某向度上實作表現很接近
針對絕對表現給予的分數
難有客觀的標準能參考
描述式評定量表
在分數式的基礎上給文字說明
描述出個分數的具體表現
提高評分客觀性
會難有明顯差異<<不能分太多等
圖表式評定量表
描述式加上圖表
加入圖or表格：特色
不一定要有個分數的描述詞
成品對照表
提高評分客觀性<<提供不同成果的照片、影像、實物來具體對比
建立方式
挑選可區分評量面向中不同等級的作品<<累積過去的作品.2
懷德術<<if有爭議
依據評量目標；界定意義<<決定評量的重要面向.1
反覆多次直到有共識<再次填問卷<回饋給專家<回收問卷並歸納<專家同意後發放問卷<編制問卷(封閉式+開放式)<確定主題：懷德術*
呈現在作品對照表<<拍攝不同等級的作品.3
幫助評分者評分<<表示不同等級的作品特色<<加入文字說明.4
行為檢核表
行為觀察
要能明顯分別是否有做到
組成
一系列的行為細目
代表執行該行為的重要過程、步驟、表現
可以把步驟換成明瞭的敘述句或是圖片
發展過程
決定實作表現<<決定評量目標
呈現出表現良好的具體行為樣態<<把技能拆解成可以觀察到的重要步驟<<分析行為細目
快速勾選評分<<一目了然<<用圖文來呈現<<將細目編成行為檢核表
*用圖片、影片協助可以提高評分客觀、一致性
有些行為細目可能因為缺乏情境，所以受測者沒有表現出來<<對於無法觀察行為的紀錄方式
*應有無法觀察的選項讓評分者勾選