實驗研究法

測驗工具信度與效度

實驗設計

準實驗設計

真實驗設計

前實驗設計

統計結果效度

內在效度

實驗變項間之因果關係的推論有效性

是否有隨機分派程序

起點能力均等性

是否包含控制組

樣本流失率

外在效度

實驗結果可以類推到不同母群與情境的廣度

母群效度:實驗結果可以類化到不同參與者的程度

實驗結果可以類化到不同情境的程度

需檢驗參與者選樣的來源是否足夠涵蓋目標母群

生態效度:所採取的情境廣度是否充足

教學媒體的新奇效果

拉長教學介入時間並提供多次的測量結果

不同班級型態(小班教學、團體課程)、不同教學環境(室內、室外)、甚至不同應用情境(家庭、學校)

效果值

樣本數的適切性

構念效度

結果變項之測量結果是否與該研究嘗試探討的構念一致

測驗信度與效度

介入固有的測量」(treatment-inherent measure)

效度

信度

檢驗研究工具能否測量到欲觀察的抽象構念

測量過程是否具一定的一致性與穩定性

測驗內容與實驗組的教學素材過度的對應(over-alignment)

WWC(2014)檢驗標準

再測信度>0.4

評分者間信度>0.5

內部一致性信度>0.5

表面效度

測量變項需要有清楚的定義與詳細的解釋

沒有控制組,亦沒有隨機分派程序的設計

有控制組(對照組),但缺乏隨機分派程序的設計。

有控制組(對照組),又有隨機分派程序的設計

前測等化方式

採用共變異數分析(ANCOVA)作為統計控制

採用進步分數為依變項

針對前測成績進行t 考驗並確認兩組無顯著差異

對抗平衡設計

未使用任何等化方法

多因子設計

將可能影響實驗效果的混淆變項,亦列為獨變項進行控制與探討

每一位參與者均需接受實驗情境與控制情境,且接受兩種情境的順序為隨機化,最後再比較實驗情境與控制情境的表現差異

以進步分數(後測成績減去前測成績)取代後測,以消除前測不均等的現象

實驗無前測,或有前測但未進行任何調整

統計基本假設

母數統計

常態性

變異數同質性

共變數分析和相依混合設計之變異數分析

球型假設

迴歸係數同質性

樣本數對母數統計假設的影響(通常以各組人數相等,且每組人數大於30人為標準)

樣本數對效果值估計精準度的影響(以效果值估計誤差為0.2以內所需之樣本數為標準)

樣本數對統計考驗力的影響(以統計考驗力大於0.8 所需之樣本數為標準)

樣本數對起點能力均等性的影響(通常以真實驗研究中,隨機分派之單位需大於30為標準)

信度品質

效度

內部一致性的Cronbach’s α

折半信度

評分者間一致性

再測信度

較適宜作為初探性質的前導研究,在因果關係的解釋上需較為保留

將統計基本假設的檢驗和效果值報告納入統計分析時的既定程序

綜合考量統計考驗力、母數統計的基本假設與效果值估計誤差,進而估計出適切的樣本數

前後測控制組設計

所羅門(Soloman)研究設計

時間系列之研究設計

非對等控制組設計

單組前後測設計

非對等控制組後測設計