Please enable JavaScript.

Coggle requires JavaScript to display documents.

效度validity (影響效度的因素 (受試者的因素 (心情、動機、身體狀況, 反應心向（response set)受試者照某種反應型態對測驗有一…

- - - - 試題不具欲測量特質代表性
      - 指導語不夠清楚明確
      - 缺乏信度
      - 太難或太容易
      - 試題含糊不清
      - 試題有答案的線索
      - 試題排列不當
      - 正確答案有規則的排列
      - 數量過少
      - 計分主觀或評分錯誤
- - - - 意涵：抽取的題項是否具有代表性
      - 說明
        
        Gregory（2011）認為內容效度就是一個抽樣問題，在眾多題項中（母群）選出最能代表母群的題項
        
        特質範圍較明確的較適合
        
        成就測驗＞性向測驗、人格測驗
      - 別名：抽樣效度（ sampling validity ）、邏輯效度（ logical validity ）分析題項的邏輯性
    - - 意義及功能：經常使用於驗證成就測驗的效度，聯繫教學內容及測驗的工具，藉由列出教學內容及學習目標以確認試題內容的分配
    - - 說明：又稱專家效度，有多位專家、學者形成的團體來進行判斷，主要看題項被評為適切的百分比（直接用、修後用、不宜用）
      - 公式:手寫
    - - 定義：指受試者對測驗試題與形式的主觀印象，看起來很有效功能
      - 功能：增加吸引力是受試者提高作答動機
      - 不是真的效度
  - - - 意涵：測驗者用來判斷測驗是否有效的標準
      - 常用的效標：學業成就、特殊訓練的表現、實際工作的表現、對照團體、精神疾病的診斷、現有的測驗
    - - 意涵：新編測驗的分數與效標分數求相關，效標係數（Validity coefficient)rxy
      - 說明：相關／直線迴歸的運用，預測變項是新編測驗分數；效標變項是蒐集來的效標分數
      - 公式：手寫
      - 別名：實徵效度（empirical validity)、統計效度(statistical validity)
    - - 適切（ relevance ）：必須代表測驗所關切的特質，如新編智力測驗找魏氏智力測驗當效標
      - 信度（ reliability ）：信度低會使效標關聯效度下降
      - 客觀（無污染free of contamination)：避免各種主觀偏差與系統性誤差，效標污染（criterion contamination)指效標分數受到測驗分數的干擾
      - 易取得（availability)
        
        終極效度(ultimate criterion)：考驗測驗分數適切性最高的效標
        如，業務員一生的銷售金額
        
        中途效度(intermediate criterion)：權衡後效標，非最高但足夠且易得
        如，業務員第一個年度的銷售金額
    - - 同時效度（concurrent validity)
        
        意義：大略在同時間取的測驗分數與效標分數並求得的相關係數
        
        用途：了解受試者現在的特徵或特質上的水準
        
        例子：為了解應徵者現在的英文能力同時做公司的英文測驗及多益
        
        相關程度：中度為佳，太高會失去獨特價值
      - 預測效度（predictive validity)
        
        意義：效標分數在新編測驗之後才取得，兩者做相關
        
        用途：了解受試者未來某個特質或特徵的水準
        
        例子：多數性向測驗，進公司時接受潛力量表測驗一年後再收集工作績效分數，求取相關係數
    - - 同份測驗的信度係數開根號就是效度係數的上限
      - 其餘手寫
  - - - 1.檢查測驗題項的同質性（內部一致性分析）
        
        方法：測每個題項跟測驗總分的相關，題項間的同質性（homogeneity)，若高代表測到同一個構念
        
        缺點：假設總分有測到想測的
      - 2.相應於發展
        
        方法：有些構念會隨年級或年齡變化，如智力、識字量，測不同年齡受試者，看是否能隨年齡變化得到不同分數
      - 3.與理論一致的團體間差異
        
        方法：有些構念的特徵或水準會在不同群體間有差異，對其施測看是否有差異。
        
        例子：Crandall依據Adler社會興趣理論發展社會興趣量表平均得分修女＞義工＞大學生＞模特＞重刑犯
      - 4.與理論一致的處理效果（實驗研究）
        
        有些構念會受到練習或訓練的影響，因此做實驗分兩組，一組有操弄一組無，一段時間後做測驗看實驗組是否有增長
      - ⭐️5.多重特質-多重方法設計MTMM
        multitrait-multimethod design)
        
        提出：Campbell&Fiske(1959)
        
        方法：用多種方法測量多種特徵，從中交叉檢查相關情形
        
        重要名詞
        
        再測信度（高）
        
        聚斂/幅合/收斂效度（convergent validity)：用兩種方法測同一個特質（高）
        
        區別/辯效度(discrimination validity)：用一種方法測兩種不同的特質&用不同的方法測不同的特質（低）
      - ⭐️6.因素分析（factor analysis)
        
        驗證性因素分析CFA （理論優先，拿資料套入比對）
        
        探索性因素分析EFA（資料優先，探索出理論結構）
- - - - 測驗效度係數是.65
        
        基本率(base rate): .60。100個人中,有60人未來能表現合格（主管評判)
        
        決策圖手寫
        
        錄取率.45
        
        命中率.84
        
        效度係數.65
      - 測驗效度係數是1.00
        
        效度係數1.00
        
        錄取率.60以下
        
        命中率100%
        
        決策圖手寫
      - 測驗效度係數是0.00
        
        效度係數0.00
        
        錄取率.05
        
        命中率.60
        
        決策圖手寫
    - - 決策理論
        
        決策表
        
        A正確錄取(Correct acceptances)、正確肯定(True positive,TP)、真陽性（True positive,TP)
        
        B正確拒絕( correct rejection ) 、正確否定(true negative,TN)、真陰性(True negative, TN)
        
        C錯誤錄取（false acceptances)、錯誤肯定(False positive, FP)、偽陽性(False positive,FP)
        
        D錯誤拒絕( false rejection )、錯誤否定(False negative, FN)、偽陰性（False negative, FN)
        
        臨界分數(或決斷分數、切截分數、門檻分數, Cutoff scores)：測驗分數上一個特定的點，用此點形成決策，,高於此點錄用，低於此點拒絕
        
        基本率(或基本比率, Base rate BR)
        
        粗略估計依經驗而形成
        
        公式=A+D/A+B+C+D
        
        任何決策都希望通過測驗後的錄取率能高於基本力
        
        定義:所有候選人中未來能成功的比率
        
        錄取率(或選擇比率, Selection ratio SR)
        
        定義：指被錄取的人數占所有人數的比例
        
        公式=A+C/A+B+C+D
        
        命中率(hit rate)或預測結果（ prediction of outcome )
        
        定義:通過測驗而被錄取的人當中表現合格的
        
        公式=A/A+C
        
        增進效度(或增加效度、測驗淨效能,incremental validity)
        
        定義:測驗前後增加的正確錄取比例
        
        方法=命中率-基本率
        
        公式=A/A+C-A+D/A+B+C+D
      - 泰勒-羅素預期表(Taylor-Russell tables)
        
        基本率100 %命中率100 %
        基本率0%命中率0%
        
        若錄取率超過基本率則命中率會下降
        
        標準降低、切截點左移
        錄取率上升命中率下降
        標準提高、切截點右移
        錄取率下降命中率上升
        
        效度上升命中率上升
        效度下降命中率下降
        
        自變項：基本率、錄取率、測驗效度
        依變項:命中率
        
        結論:
        其他條件相同錄取率越高命中率越低
        其他條件相同效度越高命中率越高
        其他條件相同基本率越高命中率越高
  - - - 沒有偏差:兩團體用同一條迴歸線(無論結果如何都是事實)
      - 截距偏差(intercept bias):斜率一樣但截距不同（會暴動)
        解決方式:合併迴歸線(有利於能力較弱的團體)
      - 斜率偏差（Slope bias)：通常斜率截距皆不同
        難以進行一致性預測嚴重的偏差問題
    - - 假設男女考消防員
        40 %筆試60 %體能
        在同一條迴歸線上（沒有偏差）
        小娟在阿坤下面一點點
      - 觀點一:分數至上
      - 觀點二: 體能門檻能過就好
        問題➡️體能門檻應設定幾分呢
      - 觀點三:這是個多元的社會應按人口比例分配