實驗研究法
測驗工具信度與效度
實驗設計
準實驗設計
真實驗設計
前實驗設計
統計結果效度
內在效度
實驗變項間之因果關係的推論有效性
是否有隨機分派程序
起點能力均等性
是否包含控制組
樣本流失率
外在效度
實驗結果可以類推到不同母群與情境的廣度
母群效度:實驗結果可以類化到不同參與者的程度
實驗結果可以類化到不同情境的程度
需檢驗參與者選樣的來源是否足夠涵蓋目標母群
生態效度:所採取的情境廣度是否充足
教學媒體的新奇效果
拉長教學介入時間並提供多次的測量結果
不同班級型態(小班教學、團體課程)、不同教學環境(室內、室外)、甚至不同應用情境(家庭、學校)
效果值
樣本數的適切性
構念效度
結果變項之測量結果是否與該研究嘗試探討的構念一致
測驗信度與效度
介入固有的測量」(treatment-inherent measure)
效度
信度
檢驗研究工具能否測量到欲觀察的抽象構念
測量過程是否具一定的一致性與穩定性
測驗內容與實驗組的教學素材過度的對應(over-alignment)
WWC(2014)檢驗標準
再測信度>0.4
評分者間信度>0.5
內部一致性信度>0.5
表面效度
測量變項需要有清楚的定義與詳細的解釋
沒有控制組,亦沒有隨機分派程序的設計
有控制組(對照組),但缺乏隨機分派程序的設計。
有控制組(對照組),又有隨機分派程序的設計
前測等化方式
採用共變異數分析(ANCOVA)作為統計控制
採用進步分數為依變項
針對前測成績進行t 考驗並確認兩組無顯著差異
對抗平衡設計
未使用任何等化方法
多因子設計
將可能影響實驗效果的混淆變項,亦列為獨變項進行控制與探討
每一位參與者均需接受實驗情境與控制情境,且接受兩種情境的順序為隨機化,最後再比較實驗情境與控制情境的表現差異
以進步分數(後測成績減去前測成績)取代後測,以消除前測不均等的現象
實驗無前測,或有前測但未進行任何調整
統計基本假設
母數統計
常態性
變異數同質性
共變數分析和相依混合設計之變異數分析
球型假設
迴歸係數同質性
樣本數對母數統計假設的影響(通常以各組人數相等,且每組人數大於30人為標準)
樣本數對效果值估計精準度的影響(以效果值估計誤差為0.2以內所需之樣本數為標準)
樣本數對統計考驗力的影響(以統計考驗力大於0.8 所需之樣本數為標準)
樣本數對起點能力均等性的影響(通常以真實驗研究中,隨機分派之單位需大於30為標準)
信度品質
效度
內部一致性的Cronbach’s α
折半信度
評分者間一致性
再測信度
較適宜作為初探性質的前導研究,在因果關係的解釋上需較為保留
將統計基本假設的檢驗和效果值報告納入統計分析時的既定程序
綜合考量統計考驗力、母數統計的基本假設與效果值估計誤差,進而估計出適切的樣本數
前後測控制組設計
所羅門(Soloman)研究設計
時間系列之研究設計
非對等控制組設計
單組前後測設計
非對等控制組後測設計