Please enable JavaScript.
Coggle requires JavaScript to display documents.
測驗編製程序 (步驟四:預試(try-out)實施 (結束後對受試者進行個別的或是團體的訪談 (文化敏感度, 表面效度, 施測者, 施測環境,…
測驗編製程序
步驟四:預試(try-out)實施
篩選先前編寫的題項形成預試的題本
預試人數視母群大小、測驗的題項數而定,也有專家建議測驗總題數的5-10倍作為預試人數
了解完成整份測驗所需要的時間作為正式施測的參考
結束後對受試者進行個別的或是團體的訪談
文化敏感度
表面效度
施測者
施測環境
題項的偏見
用字遣詞
測驗長度
猜測
身心狀況
步驟五:項目分析與訪談分析
有些測驗會根據預試結果了解題項的試題特徵曲線ICC
分析與前一步驟的訪談資料
對測驗預試的結果進行難度、鑒別力、題項分析
由專家進行內容的分析
步驟一:定義測驗所欲測量的構念、受試者與目的
確定所欲測量的構念:一個測驗通常都會測量一個特定的心理構念,如智力、性向、學習成就、閱讀能力、焦慮、憂慮、樂觀
確定受試者:測驗多半有特定的受試者,如老人、大學生、腦傷者
確定測驗的目的
測驗是常模參照性質或標準參照性質,在題項設計上是不一樣的
教學情境
安置性評量 placement assessment
在課程進行之前施測,確認學生是否具備學習新知識的基礎能力
形成性評量 formative assessments
過程中對學生進行的評量,了解學生的學習狀況以及確認教學目標是否達成,也可了解是否有學生進度落後
診斷性評量diagnostic assessment
在學習上遭遇困難時,為確認學習困難所在和其原因說採用的評量
終結性評量 summative assessments
在某個學習單元或適當的段落授課結束後,確認學生學習的水準並進行鑒別採用的測驗
情意測驗的編制過程,尤其題項上的設計和認知測驗多所不同
步驟三:編寫題項
題項編寫的原則
共同理解原則
最大變異原則(受試者間對題目的意涵有共同了解但卻能引發不同的答案)
類別窮盡原則
語意難度原則
類別互斥原則
單一維度原則(一個題項不能有雙重目的)
標準程序原則
內容效度原則
專業倫理原則
表面效度原則
成就測驗編寫提項的原則
編制題項時應留心受試者反應心向Response set
反應心向的類別
假裝Faking
在公司或學校面試時,刻意裝好,以一種老師或老闆可能會喜歡的樣貌呈現而非呈現真實的自己
犯罪的人在填寫人格測驗時,可以裝壞,希望法官認為他的行為是一種人格缺陷,藉以減輕刑責
三種作答風格
順從Acquiescence
挑剔Criticalness
中庸mediocre
社會讚許性
Social desirability
受試者社會大眾所歡迎的方式來描述自己的狀態
在進行反應時經常自覺或不自覺地以一種的留給別人好印象的方式來作答
隨機反應Random responding
防止與檢查心向的方式
使用強迫選擇的題目格式或有反向計分題
施測時應與受試者建立友善的關係,增進合作的意願
作答一致性評估
同一題項重複出現
題意類似的題目用正向與反向的方式各陳述一次
設計測謊量表Lie scale
注重試題的親和性,如適當的用詞、具表面效度等
統計控制
步驟六:正式實測
抽取有代表性的樣本,400-上千,仍需考量母群人數、題項總數、測驗測量的構念數
決定背景變項,如性別、地區、族群,使未來得以建立整體常模和次團體常模
決定效標
步驟七:建立測驗技術指標
考察測驗效度
考察測驗信度
覆核效化(交叉檢驗) Cross validation
找尋新樣本檢驗效度的理想程度
步驟八:後續事項
量表維護
編寫測驗手冊
建立常模
步驟二:決定測驗的基本特性
需要決定題項測量的形式
常使用在成就測驗和其他認知測驗
多重選擇題Multiple choice item
是非題True or false item
配合題Matching item
填充題Completion
論文題essay
成就測驗的題項分類及評分
選擇反應試題
Selected response item
選擇題
是非題
配合題
建構反應試題
Constructed response Iurem
填充題
論文題
論文題的評分方式
分析方法Analystic method
分數法Point methods
依據評分標準內的各項答案給予適當的分數
整體方法Global method
等級法Rating method
以整體品質給予一個評核分數即可
論文題的優缺點
優點
可測量複雜的學習結果
對學生的學習方法有正面的影響
試題比較容易編擬
缺點
信度低 :評分者、學生字跡文筆、月暈效應都會影響評分的結果
效度低 :內容效度不足,因為論文題的題數通常很少,從而造成了試題的代表性不足
論文題的類別
限制反應題
Restricted response item
有特定答案簡短寫出
擴展反應題
expendedresponse item
申論題(寫的有道理即可)
選擇題的猜測校正
Correction for guessing
定義:有些學者認為選擇題可能亂猜猜對了,所以要進行校正消除猜測形成的測驗誤差
公式:R-W/n-1
結論:建議填答所有題項,並不進行猜測校正
常使用在人格、態度、興趣的情意測驗
李克特量尺
(李克特量表Likert’s scale)
別稱:加總量表summated rating scale
點數Steps or points
奇數或偶數:是否允許中立回答
多點或少點:7-10
賽士通量表/尺
Thurstone scale
編製態度陳述句
計算每一題的量表值(中位數)及Q值
試測並求取每題的中位數和Q值
確定正式量表題項
語意積極程度的差異相等
Q太大的刪除(題意不明)
施測與計分
紀錄勾選同意的題項並計算這些同意題項上的量表值的平均
平均數就是該受試者在關切主題上的態度
葛特曼量尺/表
Guttman scale
意義與用途:經常用來了解個人對特定事物的態度。假定人們對特定事物態度是有一致性的,若傾向若一個較極端的意見時,較不極端的應該也會同意
編制步驟
確定某個關切的態度對象後編寫出有關的陳述
施測一個小樣本的受試者並利用回收之資料刪除80%同意或不同意的題項
就其餘題項上選擇若干施測於一較大的樣本(最好100人以上)
回收大樣本資料後製作量表圖scalogram並計算複製係數coefficient of reproducibility 以確定量表之性能
例子
施測與計分:看受試者同意到哪一題,就大致地知曉他的態度
語意區分量表
semantic differential scale
別稱:兩極形容詞量表bipolar adjectives scale
目的:了解受試者對某個人事物的態度
方法:出現多組兩兩相對的形容詞,在每對形容詞中,選擇一個比較貼切地描述他對該態度對象的感受
形容詞的內涵
有關質地強弱的potency
有關行動的activity
有關價值的evaluation
強迫選擇
Forced choice
在兩個或多個陳述中選擇一個比較能描述自己的
自比測驗形式
ipsative test format
用於:常用在人格測驗
形式:強迫選擇(強迫二選一)
定義:通過受試者數項(兩項以上)特質相比而知曉各項特質之相對強弱
代表:愛德華斯個人偏好量表EPPS
情意測驗常用的其他題項或技術
Q分類技術
Q-sort technique
用途:了解個人對某事物的意見,也可以用於了解個人在某特質上的特徵
依附測驗
應用:自我價值感Q分類量表
目的:個人中心學派利用Q技術,對案主的現實我和理想我之間的差距進行了解,若兩種Q分類的一致程度比較接近則生活適應較良好
投射測驗:主要是了解個人的人格
社會計量技術
sociometric technique
用途:了解團體的互動情形及個別成員與他人的互動關係(Moreno)
社會計量矩陣
Sociometric matrix
了解個人的受歡迎情形
了解團體的凝聚力
社會關係圖Sociogram
觀察
軼事紀錄法anecdotal record
評定量表法
rating scale
為特定觀察標的設計李克特量尺做觀察法記錄的方法
項目檢核表
checklist
列出寫具體的行為或特質,根據觀察的結果進行勾核,藉以了解學生在特定事務上的態度或表現品質
猜是誰技術
Guess who technique
用途:常用於了解一群人中,每位個別成員的人際關係狀況
方法:俊芬
需要決定測驗其他的基本特性
若測量的構念較複雜,需決定各向度的重要程度及題數分配
規劃測驗的總題數及施測時間的長短
決定測驗進行的方式是團體的或個別的
決定進行方式是傳統紙筆測驗或電腦呈現的測驗