"方案評估" 修訂間的差異

出自 Caseru Social Work Encyclopedia
前往: 導覽搜尋
 
(未顯示由 6 位使用者於中間所作的 24 次修訂)
行 1: 行 1:
{{Version|2007/10/14|}}
+
'''方案評估(programme evaluation)'''介於社會工作實務與研究評估之間,目的為運用科學的思考模式與方法,來測量和分析方案執行後的效果,透過評估了解方案的效率與效益,以利維護社會工作服務的品質(黃源協,1999)。
<!--請注意:請在這行文字底下進行編輯,請不要刪除或變更這行文字以及這行文字以上的部份。-->
+
  5 雖然把眾人之言都放上來很佔篇幅,但有嘗試自己做歸納很好。
'''方案評估'''(program evaluation):是一種必要資料蒐集活動,方案評估者利用多種學科的研究方法及概念以判斷方案可行性或更利於提升方案效率及效益,易言之,其目的是為了改善我們的方案。(羅國英、張紉譯【民96】,P.002)
+
  4 西元2200年還沒有到。
+
==方案評估的目的==
+
方案評估的目的並非事揭發執行人員的過失也非是監察員工的工作,而是利用評估方式改善服務方案且向相關公部門或私部門交代(accountability),對於捐款者維持債信,不論是從機構外部所募集到或受補助的金額,他們皆有權去了解他們的捐款是否被利用在他們所期待的目的上及確定方案是否以最有效率達到原定目標。總而言之,方案評估是為了協助方案執行上和訂定上的方便,了解該方案是否可行以避免資源浪費,求達到最大效率進而可以利用評估結果作為福利方案修改之依據亦可作為督導執行方案者一個標準。(萬育維編著.【民90】,P.161)(胡慧嫈等譯.【民86】P.175)
+
  
==方案評估的歷史==
+
=='''方案評估的目的'''==
在西元前2200年的中國,當人們進行任何人事變更行為時,他們會不自覺、沒有系統地注意它所產生的影響,當時並沒有將這種行為認作方案評估。而至20世紀初才出現較有系統地方案評估,例如當時會用不同的教學方法對學生作標準化測驗(standardized test),以比較教育成效。
+
方案評估試圖達成衡量方案執行是否符合計畫中服務目標所設定的成功率與確認方案在執行中可能做得改變之處。Kathleen Mclnnis-Dittrich(1997)認為評估方案的目的則有以下幾點:
在1940年由於新政社會福利實施,便可利用方案評估研究工作救濟(work relief)和直接救濟(dirrect relief)的差異效果、公共住宅的效果及對犯罪青少年處置方式的方案效果。
+
*透過方案評估來檢視機構未來的方案計劃管理。
而方案評估在50年代後期廣為流傳,在60年代後期已有全國性研討會出現及有一些負責評估研究的專業組織,而70年代當公眾對於方案所有投資要求看見回收時對方案評估的專業愈加重視,80年代由於經費削減快速,又處於一個交代的年代(age of accountability),當人民對於政府合理支出產生懷疑時方案評估就成為關鍵,可用來決定是否新增或該改善哪些社會性福利項目,無需將有限的經費投注在無效的方案上。(趙碧華,朱美珍編譯.【民89】,P.589~P.600)
+
*方案評估有助於機構對於捐款者的責信。
==評估者的角色==
+
*方案評估可確定方案是否出現未曾預期的效果。
三種常見的評估者職位:(胡慧嫈等譯.【民86】,p408~410)(羅國英,張紉譯.【民96】,p22~25)
+
*方案評估可獲得執行成果的量化的實證資料。
#內部評估人員(internal evaluator):是屬機構內本身的評估人員,雖然他們與督導和管理人員有完整的接觸機會且較了解方案運作方式,但其實這並不是一個客觀性地評估,不管是過程中的評估或總結性評估時容易出現偏頗,上司的壓力會攸關未來個人升遷機會,因而容易喪失客觀性,但一個評估者有義務照實陳述所有評鑑資料跟結果,這會造成內部評估者很大的壓力,這時可堅持兩大原則:認清自己對於組織的價值是在能提出中肯的評估報告;強調許多方案的缺失是來自系統的問題並非都是個人不當表現,建立起這種觀念評估者較容易維持本身客觀性,也能建立起自己在組織內的信譽。
+
#外部評估人員(external evaluator):是由政府或機構另外設置聘用,由於是受到政府嚴密監控評鑑結果,其中不僅包含原有方案裡面各涉及政府經費、社會福利、教育等多元議題就容易超出評估者負荷量,加上對方容易對非內部評估人員的評估提出很多質疑,這也容易使外部評鑑發現只要寫出管理者喜歡的結果就可以增加可信性不被質疑專業能力 ,而且不好的評鑑結果容易使管理者下次不與評估者再打契約,因管理者相信有利的評鑑可以增加經費,評估者對自身工作保障跟收入的憂慮會導致評估者的做出非專業判斷。
+
#私人專業評估公司:順著時代需求因應而生,有些公司會招開說明會讓各地單位了解公司的需求,當各單位提出計畫書後,公司會因費用所需跟評估公司在業界聲望等原因來決定得標者。
+
  
==方案評估的型式==
+
萬育維(2001)則是認為評估方案的目的為:
===需求評估===
+
*協助行政資源,將效用最大化。
需求評估(needs assessment):是規劃任何方案前的基本步驟,目的是發現社會問題的本質及範圍,屬一種描述性的調查,是有系統地研究及診斷問題所在,因此方案執行者需要一些可推論出結果的研究以決定未來方案導向及發展。(羅國英、張紉譯【民96】,P.009)(石志偉等譯【民90】,P.96)(陳若平、張祐綾等譯,P.424)
+
*改善服務素質,檢討並提升服務品質。
===評估性評估===
+
*確定服務介入和期望成果之因果關係,確保執行時的目標。
評估性評估(evaluability assessmen):
+
*證明服務方案目標到達之程度,顯示方案是有效的。
===過程評估===
+
*向有關政府部門和資助團體提供交代,以利維持機構的[[責信]]。
過程評估(process evaluation):強調確認方案執行過程中的長處和劣勢,並適時提出改進的建議,最好由評估者自己直接觀察,而適合的評估方法可以是訪談或問卷等質化研究方法,可從之間的直接互動關係可以觀察到方案的適切性或困難加上過程評估是屬多次性評估,準確性可以提高,不僅利於未來評估時的查證也有非常高的說服性。(簡春安、鄒平儀合著.【民87】,p.294~295)
+
*建立對機構服務與信任的支持態度。
===成果評估===
+
成果評估(outcome evaluation):執行方案最重要的就是方案執行的成果,接受者是否有了改變?而且還是好的改變。但是什麼叫做成功?所有執行方案者都沒有一定的答案一切視情況而定,成果評估僅提供了一種事實資訊而是否符合預期結果都取決於執行者的見解,由此可知成果評估是涉及主觀上的評判和執行者的價值觀。(高迪理譯.【民88】,p.253)
+
  
===成本效能分析===
+
=='''方案評估的準備工作'''==
成本效能分析(cost-effectiveness analysis):
+
PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin(1999)與Kathleen Mclnnis-Dittrich(1997)認為方案評估須具備下列幾點:
===成本效益分析===
+
*方案評估由誰決定評估。
成本效益分析(cost-benefit analysis):
+
*方案評估重點是在於輸出(output)或是影響(impact),或是兩者都有。
===效力評估===
+
*如何決定使用的評估資料。
效力評估(effort evaluation):不試圖去檢視或解釋服務後的成果或為什麼會發生的原因,而是反映出服務提供跟執行過程的狀況,一切僅止於提供基本活動資訊藉以增強對方案的管控或改善。(高迪理譯.【民88】,p.253)
+
*問題分析的明確度。
 +
*確認欲評估之目的。
 +
*詳細描述服務活動並將其標準化。
 +
*測量方案產生的改變程度。
 +
*確定方案的成本開支,包括達成結果相關之成本。
 +
*判定所觀察到的改變程度是來自服務活動或其他因素。
  
===適切性評估===
+
=='''方案評估之類型'''==
適切性評估(adequacy of performance evaluation):又稱影響效應評估 (impact evaluation),此評估可讓我們了解到實際提供的服務是否跟原本所需求量相近,當方案執行初期不可能完全滿足所有需求但是可測量出一定完成比率,未來當方案將擴大執行時可預估出所需的資源量,這是一種激勵執行者在未來執行類似方案或擴大範圍時的重要指標。(高迪理譯.【民88】,p.262)
+
PeterM.Kettne et al(1999)認為方案評估種類很多,藉由不同的方式檢視方案的執行。若欲進行任何種類的評估考核。一般而言,方案評估有四種類型,分別能夠對方案提供不同資訊,分別為幾下幾點:
 +
*效力評估(effort evaluation):效力的評估是針對服務提供的過程狀況,對服務類型與服務量進行評估。目的為獲得基本的服務活動資訊,藉以增強獲改善方案品質的管控。
 +
*成果評估(outcome evaluation):成果評估的重點是檢視案主所達成的結果,確認方案成果目標達成之程度為何,是否有達成當初所設立之目標。
 +
*適切性評估(adequacy of performance evaluation):檢視方案整體是否有達到其適切性,也被稱為影響效應評估。主要的關注重點在於,檢視方案服務有否滿足計劃過程所認定之需求。
 +
*成本效評估(cost-efficiency evaluation)或成本功效評估(cost-effectiveness evaluation):成本效率評重點在於所提供服務之單位成本;成本功效評估偏重於達成某結果之總成。具體言之,成本效率評估檢視時間、事件、物料、輸出等各種不同的單位成本;成本功效評估則考核成功結果的支出成本。
  
==方案評估的步驟==
+
=='''方案評估的方式'''==
 +
'''依時間順序分'''
 +
*過程評估:對執行中的方案進行評估,評估目的是在於發現方案的進行是否有偏離原先預定的目標。如果出現不一致,需要進一步的了解,檢視是否需要修改方案的執行方式或是目標,使方案的進行能朝向整體目標而行。
 +
*結果評估:針對已執行完成的方案進行評估,比較方案執行前後的差異並檢討,以便作為日後相類似的方案進行參考。
  
==正確的評估態度==
+
'''依評估者'''
==參考文獻==
+
*內部的評估(internal evaluation):由方案執行單位的成員或日相關人員做評估工作。此種評估對於執行方案的組織結構,以及評估的計畫方案,能有更詳細的了解,有助於往後研究和評估工作的進行。
*方案評估:方法及案例討論,Emil J. Posavac, Raymond G. Carey原著;羅國英,張紉譯,臺北市:雙葉書廊,2007【民96】
+
*外來的評估(external evaluation):由機構以外的專家所做的評估工作。此種評估較容易維持評估工作的客觀性(黃協源,1999)。
*社會工作概論:理論與實務,萬育維編著,臺北市:雙葉書廊,2001【民90】
+
 
*研究方法:社會工作暨人文科學領域的運用,Allen Rubin,Earl Babbie著;趙碧華,朱美珍編譯,臺北市:學富文化,2000【民89】
+
=='''方案評估的步驟'''==
*整合社會福利政策與社會工作實務,Kathleen Mclnnis-Dittrich原著;胡慧嫈等譯,臺北市:揚智文化,1997【民86】
+
根據黃源協(1999)與萬育維(2001)對於方案評估的步驟為以下幾點
*社會工作研究方法,Christine Marlow著;張英陣校閱,石志偉等譯,臺北市:洪葉文化,2001【民90】
+
*宗旨
*社會工作研究方法,Allen Rubin,Earl R. Babbie著;林萬億、鄭麗珍、陳毓文審訂,陳若平、張祐綾等譯,臺北市:五南圖書,2007【民96】
+
*完成評估前的準備工作
*方案評估:原理與實務,Colin Robson著;張英陣審訂,魏希聖、鄭怡世譯,臺北市:洪葉文化,2005【民94】
+
*確認方案目標
*服務方案之設計與管理,PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著;高迪理譯,臺北市:揚智文化,1999【民88】
+
*確認評估的變項
*社會工作研究法,簡春安、鄒平儀合著,臺北市:巨流圖書,1998【民87】
+
*事前評估
 +
*計畫
 +
*執行計畫
 +
*事中(過程)評估
 +
*事後(影響)評估
 +
 
 +
=='''規劃方案評估應注意的事項'''==
 +
評估方案會受到許多因素的影響,專業的評估者會想辦法解決阻礙評估之原因,並加以解決。方案評估需注意下列幾項:
 +
*不應期待方案會有猛然的效果:方案相關工作者會對工作效果充滿信心與熱誠,他們期待著新方案的結果是非常有效果的,但若工作者發現,他們的方案只是稍微優於以前的方案,他們可能會出現挫折,無成就感,特別是新方案被期待的標準更高時。
 +
*不要擔心詢問方案的品質是不專業的:專業的服務必須經過一次又一次的改進與學習,有些工作者會認為問案主有關工作的品質時,會突顯自己的專業能力不夠。但,其實大部分尋求服務的案主,如果知道服務自己的工作者,是一個藉著不斷尋求進步與學習,以提升自己的能力,一定是能滿足案主更高的需求,而且會留下好印象。
 +
*不要擔心方案是否會被終止:一項評估如果發現有某個方法行不通,該方案可能會被縮減或排除,但是當需要排除設計來解決方案時,常常會面對要以什麼方式來替代的問題,因此,一項評估較可能使方案修正,而不是被取消,評估並不會終止方案,而是幫助此方案繼續取得責信的工具。
 +
*不要擔心方案是否會失去控制:不管是內部的或外部的評估,員工以及主管都會擔心評估會影響到他們的決策權,這種擔心是毫無根據,但卻很普遍。或許工作者不能操控方案的訊息,但是可以藉由緊密的參與方案進行,而減少他們的擔心(黃源協,1999)。
 +
 
 +
=='''參考文獻'''==
 +
*胡慧嫈等(譯)(民86)。'''整合社會福利政策與社會工作實務'''(原著者:Kathleen Mclnnis-Dittrich)。臺北市:揚智文化。(原著出版年:1997)
 +
*高迪理(譯)(民88)。'''服務方案之設計與管理'''(原著者PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin)。臺北市:揚智文化。(原著出版年:1999)
 +
*萬育維(2001)。'''社會工作概論:理論與實務'''。臺北市:雙葉書廊。
 +
*黃協源(1999)。'''社會工作管理'''。臺北市:揚智文化。
 +
*趙碧華,朱美珍(譯)(民89)。'''研究方法:社會工作暨人文科學領域的運用'''(原著者:Allen Rubin,Earl Babbie)。臺北市:學富文化。(原著出版年:2000)
 +
 
 +
{{Rank3}}

於 2012年7月25日 (三) 07:37 的最新修訂

方案評估(programme evaluation)介於社會工作實務與研究評估之間,目的為運用科學的思考模式與方法,來測量和分析方案執行後的效果,透過評估了解方案的效率與效益,以利維護社會工作服務的品質(黃源協,1999)。

5 雖然把眾人之言都放上來很佔篇幅,但有嘗試自己做歸納很好。

方案評估的目的

方案評估試圖達成衡量方案執行是否符合計畫中服務目標所設定的成功率與確認方案在執行中可能做得改變之處。Kathleen Mclnnis-Dittrich(1997)認為評估方案的目的則有以下幾點:

  • 透過方案評估來檢視機構未來的方案計劃管理。
  • 方案評估有助於機構對於捐款者的責信。
  • 方案評估可確定方案是否出現未曾預期的效果。
  • 方案評估可獲得執行成果的量化的實證資料。

萬育維(2001)則是認為評估方案的目的為:

  • 協助行政資源,將效用最大化。
  • 改善服務素質,檢討並提升服務品質。
  • 確定服務介入和期望成果之因果關係,確保執行時的目標。
  • 證明服務方案目標到達之程度,顯示方案是有效的。
  • 向有關政府部門和資助團體提供交代,以利維持機構的責信
  • 建立對機構服務與信任的支持態度。

方案評估的準備工作

PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin(1999)與Kathleen Mclnnis-Dittrich(1997)認為方案評估須具備下列幾點:

  • 方案評估由誰決定評估。
  • 方案評估重點是在於輸出(output)或是影響(impact),或是兩者都有。
  • 如何決定使用的評估資料。
  • 問題分析的明確度。
  • 確認欲評估之目的。
  • 詳細描述服務活動並將其標準化。
  • 測量方案產生的改變程度。
  • 確定方案的成本開支,包括達成結果相關之成本。
  • 判定所觀察到的改變程度是來自服務活動或其他因素。

方案評估之類型

PeterM.Kettne et al(1999)認為方案評估種類很多,藉由不同的方式檢視方案的執行。若欲進行任何種類的評估考核。一般而言,方案評估有四種類型,分別能夠對方案提供不同資訊,分別為幾下幾點:

  • 效力評估(effort evaluation):效力的評估是針對服務提供的過程狀況,對服務類型與服務量進行評估。目的為獲得基本的服務活動資訊,藉以增強獲改善方案品質的管控。
  • 成果評估(outcome evaluation):成果評估的重點是檢視案主所達成的結果,確認方案成果目標達成之程度為何,是否有達成當初所設立之目標。
  • 適切性評估(adequacy of performance evaluation):檢視方案整體是否有達到其適切性,也被稱為影響效應評估。主要的關注重點在於,檢視方案服務有否滿足計劃過程所認定之需求。
  • 成本效評估(cost-efficiency evaluation)或成本功效評估(cost-effectiveness evaluation):成本效率評重點在於所提供服務之單位成本;成本功效評估偏重於達成某結果之總成。具體言之,成本效率評估檢視時間、事件、物料、輸出等各種不同的單位成本;成本功效評估則考核成功結果的支出成本。

方案評估的方式

依時間順序分

  • 過程評估:對執行中的方案進行評估,評估目的是在於發現方案的進行是否有偏離原先預定的目標。如果出現不一致,需要進一步的了解,檢視是否需要修改方案的執行方式或是目標,使方案的進行能朝向整體目標而行。
  • 結果評估:針對已執行完成的方案進行評估,比較方案執行前後的差異並檢討,以便作為日後相類似的方案進行參考。

依評估者

  • 內部的評估(internal evaluation):由方案執行單位的成員或日相關人員做評估工作。此種評估對於執行方案的組織結構,以及評估的計畫方案,能有更詳細的了解,有助於往後研究和評估工作的進行。
  • 外來的評估(external evaluation):由機構以外的專家所做的評估工作。此種評估較容易維持評估工作的客觀性(黃協源,1999)。

方案評估的步驟

根據黃源協(1999)與萬育維(2001)對於方案評估的步驟為以下幾點

  • 宗旨
  • 完成評估前的準備工作
  • 確認方案目標
  • 確認評估的變項
  • 事前評估
  • 計畫
  • 執行計畫
  • 事中(過程)評估
  • 事後(影響)評估

規劃方案評估應注意的事項

評估方案會受到許多因素的影響,專業的評估者會想辦法解決阻礙評估之原因,並加以解決。方案評估需注意下列幾項:

  • 不應期待方案會有猛然的效果:方案相關工作者會對工作效果充滿信心與熱誠,他們期待著新方案的結果是非常有效果的,但若工作者發現,他們的方案只是稍微優於以前的方案,他們可能會出現挫折,無成就感,特別是新方案被期待的標準更高時。
  • 不要擔心詢問方案的品質是不專業的:專業的服務必須經過一次又一次的改進與學習,有些工作者會認為問案主有關工作的品質時,會突顯自己的專業能力不夠。但,其實大部分尋求服務的案主,如果知道服務自己的工作者,是一個藉著不斷尋求進步與學習,以提升自己的能力,一定是能滿足案主更高的需求,而且會留下好印象。
  • 不要擔心方案是否會被終止:一項評估如果發現有某個方法行不通,該方案可能會被縮減或排除,但是當需要排除設計來解決方案時,常常會面對要以什麼方式來替代的問題,因此,一項評估較可能使方案修正,而不是被取消,評估並不會終止方案,而是幫助此方案繼續取得責信的工具。
  • 不要擔心方案是否會失去控制:不管是內部的或外部的評估,員工以及主管都會擔心評估會影響到他們的決策權,這種擔心是毫無根據,但卻很普遍。或許工作者不能操控方案的訊息,但是可以藉由緊密的參與方案進行,而減少他們的擔心(黃源協,1999)。

參考文獻

  • 胡慧嫈等(譯)(民86)。整合社會福利政策與社會工作實務(原著者:Kathleen Mclnnis-Dittrich)。臺北市:揚智文化。(原著出版年:1997)
  • 高迪理(譯)(民88)。服務方案之設計與管理(原著者PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin)。臺北市:揚智文化。(原著出版年:1999)
  • 萬育維(2001)。社會工作概論:理論與實務。臺北市:雙葉書廊。
  • 黃協源(1999)。社會工作管理。臺北市:揚智文化。
  • 趙碧華,朱美珍(譯)(民89)。研究方法:社會工作暨人文科學領域的運用(原著者:Allen Rubin,Earl Babbie)。臺北市:學富文化。(原著出版年:2000)