ch12評估研究

evaluation research

定義

不是一種研究方法,是一種研究方法的應用,評估社會干預是否達成預期成效
社會干預social intervention:為了達成某種預期效果(解決社會問題的計畫),
而在一個社會情境裡採取的行動

適用於某些社會干預實施前或發生時

依目的分類

成本效益研究
cost-benefit studies

監測研究
monitoring studies

需求評量研究
needs assessment studies

用確定問題的存在與其範圍

e.g.研究某一人口族群

確定方案的成果是否能證明其開銷與其他成本的合理性

提供關心事項之穩定資訊來源
e.g.犯罪率、人口成長率...

又稱為方案評估成果評量

研究的課題

定義成果

主要測量的變項為「成果/反應變項(reponse variable)」

必須能夠測量才能夠做評估,必須可以進行操作化、觀察、辨認標的存在與否

測量實驗情境

針對可能會影響到實驗的實驗情境各方面與以測量

有些變項雖然是外在因素,但有可能影響實驗本身
e.g.經濟、景氣、政治...

結合適當的控制組,可以有更正確的評估結果

說明干預變項

干預變項:實驗中給予的刺激

e.g.分別測量實驗組與控制組

※研究員可能也是干預變項
(e.g.同樣的治療,但不同的治療師,可能會造成不同的復原效果)

說明母體

必須要在研究開始前先針對定義、標準、測量方式、單位...達成共識
e.g.要先對藥物濫用的定義達成共識,才能夠開始進行研究

涉及界定測量方式
→界定好研究的定義與測量方式,才能尋找適合對象及研究母體

需精確測量定義中考量的變項

選擇新的/既有測量工具

適合使用於評估研究的
研究設計類型

操作的成功/失敗

若探討內容曾經有人測量過,可根據研究目的與情境,
評估既有各種測量的可用性,選擇適當的測量工具

自己設計測量工具

如果是無人從事的研究,就要使用自己設計的測量方式

針對探討的層面設計測量方法
→比起使用既有工具,會有較大的關聯性與效度

設計過程費時費力

使用既有測量工具

方便、省時省力

可能找不到完全符合研究且適用的測量方式

常被其他研究人員使用的測量方法,能夠提供許多可比較的資料,
且具有已知的信度、效度

需要進行測試,以防具有不確定性

牽涉到成本─效益分析(cost-benefit analysis)

必須定義成功與失敗的指標

許多事件的成果無法量化分析(e.g.學習成效)
→可以透過不同計畫/方案間競爭,來比較成功/失敗
(e.g.同樣的成本,參與哪個學習計畫得到的成效比較高?)

準實驗設計
quasi experiment

質化評估

實驗設計
(ch9)

step1:選擇母群體

step2:對研究對象、研究目的、測量方式...下定義與進行評估、
決定實驗時間長度

step3:分派實驗組與對照組

step4:觀察研究結果

非嚴謹的研究,缺少實驗的關鍵要素,e.g.前測/後側、控制組

時間數列設計
time-series design

涉及跨時間的測量

非等同控制組
nonequivalent control group

無法從共同群體隨機分配受試者到實驗組與控制組時,
尋找一個與實驗組相似的「既有控制組」

多元時間數列設計
multiple time-series design

非等同控制組的改良版,使用一套以上的時間數列分析

缺乏控制組,
所以只能記錄事件隨時間經過的發展,以進行時間數列評估

e.g.針對某班級進行教學計畫,
可以尋找一個與此班級學生性質相似(年齡、性別、智商...)的班級做控制組
控制組班級不是研究的一部分,但可以提供一個比較的基礎

e.g.為了評估超速取締計畫的成效,不只取得該區域在計畫實施前/後的交通意外事故統計資料觀察數據變化,也取得多個區域,同樣期間的交通意外事故統計資料比較

深度訪談

可以了解產生此研究結果的過程

研究結果
無法運用的原因

評估結果有時與固有信仰相牴觸(e.g.哥白尼主張日心說遭到抨擊)

牴觸到被評估的事件/計畫...等的擁有者、成員的既得利益
(e.g.計畫研究者不想因為計畫被評估成不可行,就被停止執行)

研究結果的建議常常不是以非研究人員可以了解的方式呈現

社會指標(social indicators)
研究

結合評估研究既有資料分析法

反映一個社會或社會次團體的生活品質、特性...社會狀況的綜合統計資料(aggregated statistics)
e.g.犯罪率、死亡率...

社會指標的監測常用以測定社會生活的各面向以及社會變遷特性
e.g.用GDP當作國家的經濟發展指標

電腦模擬(computer simulation)技術的發展,使研究人員可以編寫方程式,描述社會變項間的連結關係
利用電腦測試特定社會變遷意涵,而不需要在真實生活中操作
→不需要經歷風險,就可以知道對某特定干預該做什麼處置

※研究者必須足夠了解評估對象,並排除偏見,避免導致錯誤的假定及因果關係,做出不正確的方案,以至於方案無法反映出參與者的需求,甚至對方案參與者造成負面效果