"方案評估" 修訂間的差異

出自 Caseru Social Work Encyclopedia
前往： 導覽、 搜尋
行 1： 行 1：
−
{{Version|2007/10/14|}}
+
「方案評估(programme evaluation)介於社會工作實務和研究之間，基本的目的在於運用科學的思考、方法、測量和分析，以提昇社會方案的效率與效益，以及社會工作服務的品質」
−
<!--請注意：請在這行文字底下進行編輯，請不要刪除或變更這行文字以及這行文字以上的部份。-->
+
(黃源協著.【民88】，p251)
−
'''方案評估'''(program evaluation):是一種必要資料蒐集活動，方案評估者利用多種學科的研究方法及概念以判斷方案可行性或更利於提升方案效率及效益，易言之，其目的是為了改善我們的方案。(羅國英、張紉譯，【民96】)
+
−
4 西元2200年還沒有到。
+
  
−
  5 文獻引用格式不甚正確， 參考文獻格式不甚正確，英文文獻用在那？
+
  5 雖然把眾人之言都放上來很佔篇幅，但有嘗試自己做歸納很好。
−
編輯有待改進
+
−
==方案評估的目的==
+
−
方案評估的目的並非事揭發執行人員的過失也非是監察員工的工作，而是利用評估方式改善服務方案且向相關公部門或私部門交代(account-ability)，對於捐款者維持債信，不論是從機構外部所募集到或受補助的金額，他們皆有權去了解他們的捐款是否被利用在他們所期待的目的上及確定方案是否以最有效率達到原定目標。總而言之，方案評估是為了協助方案執行上和訂定上的方便，了解該方案是否可行以避免資源浪費，求達到最大效率進而可以利用評估結果作為福利方案修改之依據亦可作為督導執行方案者一個標準。(萬育維編著，【民90】；胡慧嫈等譯，【民86】)
+
  
−
==方案評估的型式==
+
=='''方案評估的目的'''==
−
===需求評估===
+
當方案計畫者致力於準備執行評估考核之際，他們試圖達成兩個目的：(1)衡量方案在符合先前所陳述之服務目標的相對成功率；以及(2)確認在目前的方案執行中仍有可能做改變之處。
−
需求評估(needs assessment):是規劃任何方案前的基本步驟，目的是發現社會問題的本質及範圍，屬一種描述性的調查，是有系統地研究及診斷問題所在，因此方案執行者需要一些可推論出結果的研究以決定未來方案導向及發展。(羅國英、張紉譯，【民96】；石志偉等譯，【民90】；陳若平、張祐綾等譯，【民96】)
+
*Kathleen Mclnnis-Dittrich認為評估方案的目的有：
−
===評估性評估===
+
#透過評估幫助機構做未來的計劃，以及機構的管理(Portney，1986)
−
可評估性評估(evaluability assessmen):是指決定方案是否可以被評估。一個方案或期待中的活動所需的資源，和預期結果都可以被定義，也是一種活動與活動的資源連結及預期結果的邏輯。(Beulah R. Compton & Burt Galaway，【1999】)
+
#對於捐款者維持債信
 +
#確定方案是否出現未曾預期的效果
 +
#獲得政策執行和成果的量化實證的敘述資料
 +
(Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯.【民86】，P173-175)
 +
*萬育維認為評估方案的目的有：
 +
#協助行政資源
 +
#改善服務素質
 +
#確定服務介入和期望成果之因果關係
 +
#證明服務方案目標到達之程度
 +
#向有關政府部門和資助團體提供交代
 +
#建立繼續不斷的支持
 +
(萬育維編著.【民90】，P161)
 +
*Allen Rubin，Earl Babbie認為評估方案的目的有：
 +
#方案的最終成功
 +
#方案如何實施的問題
 +
#方案計畫和發展所需的資訊
 +
(Allen Rubin，Earl Babbie著；趙碧華，朱美珍編譯.【民89】，P600)
 +
*根據以上學者對評估目的的看法，我認為評估方案的目的為以下幾點：
 +
#協助行政資源
 +
#改善服務素質
 +
#確定方案是否出現未曾預期的效果
 +
#確定服務介入和期望成果之因果關係
 +
#證明服務方案目標到達之程度
 +
#向有關政府部門和資助團體提供交代
 +
#建立繼續不斷的支持
 +
#方案如何實施的問題
  
−
===過程評估===
+
=='''方案評估的準備工作'''==
−
過程評估(process evaluation):強調確認方案執行過程中的長處和劣勢，並適時提出改進的建議，最好由評估者自己直接觀察，而適合的評估方法可以是訪談或問卷等質化研究方法，可從之間的直接互動關係可以觀察到方案的適切性或困難加上過程評估是屬多次性評估，準確性可以提高，不僅利於未來評估時的查證也有非常高的說服性。(簡春安、鄒平儀合著，【民87】)
+
*Kathleen Mclnnis-Dittrich認為評估前的準備工作有以下四點：
−
===成果評估===
+
#決定由誰來評估
−
成果評估(outcome evaluation):執行方案最重要的就是方案執行的成果，接受者是否有了改變?而且還是好的改變。但是什麼叫做成功?所有執行方案者都沒有一定的答案一切視情況而定，成果評估僅提供了一種事實資訊而是否符合預期結果都取決於執行者的見解，由此可知成果評估是涉及主觀上的評判和執行者的價值觀。(高迪理譯，【民88】)
+
#決定評估重點是在輸出(output)或是影響(impact)，或是兩者都有
−
===效力評估===
+
#決定如何使用評估資料
−
效力評估(effort evaluation):不試圖去檢視或解釋服務後的成果或為什麼會發生的原因，而是反映出服務提供跟執行過程的狀況，一切僅止於提供基本活動資訊藉以增強對方案的管控或改善。(高迪理譯，【民88】)
+
#完整的評估方案
−
===適切性評估===
+
(Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯.【民86】，p175-177)
−
適切性評估(adequacy of performance evaluation):又稱影響效應評估 (impact evaluation)，此評估可讓我們了解到實際提供的服務是否跟原本所需求量相近，當方案執行初期不可能完全滿足所有需求但是可測量出一定完成比率，未來當方案將擴大執行時可預估出所需的資源量，這是一種激勵執行者在未來執行類似方案或擴大範圍時的重要指標。(高迪理譯，【民88】)
+
*Suchman認為好的方案評估，須具以下準備工作：
−
===成本效能分析===
+
#明確之問題分析
−
成本效能分析(cost-effectiveness analysis):與成本效益分析不同，我們用金錢去計算方案本身成本，卻不去評估方案成效帶來的金錢效益，由於評估方案的成本十分複雜會牽扯到成本會計概念，如變動成本對固定成本、內含成本及外顯成本、機會成本等，評估者時常缺乏這種專業技術，時常不將成本效能分析及成本效益分析列入評鑑。(胡慧嫈等譯，【民86】)
+
#確認欲評估之目的
−
===成本效益分析===
+
#詳細描述服務活動並將其標準化
−
成本效益分析(cost-benefit analysis):將傳統的貨幣單位可計算的成本，和相同單位測量的成效做比較，表示出不僅方案成本可被金錢計算出外亦可致力將方案成果換化成等量的經濟價值，但成本效能分析有其困難，當某一專業社工員對個案付出卻毫無進展地轉介，該如何斷定成效呢?固顯出成本效益分析的困難，我們可設法將待評項目以標準化的方式統整，相似的問題利用相同的標準，長期下來，我們可以找到適用的標準可當未來參考的方法。(胡慧嫈等譯.【民86】；簡春安、鄒平儀合著，【民87】)
+
#測量產生改變的程度
 +
#確定方案的成本開支，包括與達成結果相關之成本
 +
#判定所觀察到的改變程度是來自服務活動或其他因素
 +
(PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯.【民88】，p248)
 +
*根據以上學者所提出的方案評估的準備工作，我認為方案評估的準備工作須具備下列幾點：
 +
#決定由誰來評估
 +
#決定評估重點是在輸出(output)或是影響(impact)，或是兩者都有
 +
#決定如何使用評估資料
 +
#明確之問題分析
 +
#確認欲評估之目的
 +
#詳細描述服務活動並將其標準化
 +
#測量產生改變的程度
 +
#確定方案的成本開支，包括與達成結果相關之成本
 +
#判定所觀察到的改變程度是來自服務活動或其他因素
  
−
==評估者的角色==
+
=='''方案評估之類型'''==
−
三種常見的評估者職位:(胡慧嫈等譯，【民86】；羅國英,張紉譯，【民96】)
+
*「Program evaluation is often divided into types of evaluation.
−
===內部評估人員===
+
#Formative Evaluation occurs early in the program. The results are used to decide how the program is delivered, or what form the program will take. For example, an exercise program for elderly adults would seek to learn what activities are motivating and interesting to this group. These activities would then be included in the program.
−
內部評估人員(internal evaluator):是屬機構內本身的評估人員，雖然他們與督導和管理人員有完整的接觸機會且較了解方案運作方式，但其實這並不是一個客觀性地評估，不管是過程中的評估或總結性評估時容易出現偏頗，上司的壓力會攸關未來個人升遷機會，因而容易喪失客觀性，但一個評估者有義務照實陳述所有評鑑資料跟結果，這會造成內部評估者很大的壓力，這時可堅持兩大原則:認清自己對於組織的價值是在能提出中肯的評估報告；強調許多方案的缺失是來自系統的問題並非都是個人不當表現，建立起這種觀念評估者較容易維持本身客觀性，也能建立起自己在組織內的信譽。
+
#Process Evaluation is concerned with how the program is delivered. It deals with things such as when the program activities occur, where they occur, and who delivers them. In other words, it asks the question: Is the program being delivered as intended? An effective program may not yield desired results if it is not delivered properly.
−
===外部評估人員===
+
#Outcome Evaluation addresses the question of what are the results. It is common to speak of short-term outcomes and long-term outcomes. For example, in an exercise program, a short-term outcome could be a change knowledge about the health effects of exercise, or it could be a change in exercise behavior. A long-term outcome could be less likelihood of dying from heart disease.」
−
外部評估人員(external evaluator):是由政府或機構另外設置聘用，由於是受到政府嚴密監控評鑑結果，其中不僅包含原有方案裡面各涉及政府經費、社會福利、教育等多元議題就容易超出評估者負荷量，加上對方容易對非內部評估人員的評估提出很多質疑，這也容易使外部評鑑發現只要寫出管理者喜歡的結果就可以增加可信性不被質疑專業能力 ，而且不好的評鑑結果容易使管理者下次不與評估者再打契約，因管理者相信有利的評鑑可以增加經費，評估者對自身工作保障跟收入的憂慮會導致評估者的做出非專業判斷。
+
−
===私人專業評估公司===
+
−
私人專業評估公司:順著時代需求因應而生，有些公司會招開說明會讓各地單位了解公司的需求，當各單位提出計畫書後，公司會因費用所需跟評估公司在業界聲望等原因來決定得標者。
+
  
−
==方案評估的步驟==
+
(Wikipedia Program evaluation ， 2006)
−
方案評估最重要的部份就是最後向機構單位或負責的主管報告評估結果，而一份好的評估報告應該包含正向與負向的評估結果發現，完整展現方案的優缺點才利於未來方案改善與修正，方案評估包含六個不同的步驟:
+
  
−
步驟一:指認評估之目標<br />
+
*PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin認為方案評估考核的種類很多，可以藉此用來檢視方案的各種不同層面。若欲進行任何種類的評估考核，則應基於兩項實際上的考量，一為可行性(feasibility),另一為決策者對方案運作相關資訊的需求。一般而言，方案評估有四種類型，分別能夠對方案的作用提供不同資訊，它們是：
 +
#效力之評估(effort evaluation)：效力的評估考核反應出服務提供或運作過程的狀況，對所提供的服務類型與服務量進行說明。再評估效力和運作過程之際，我們並不試圖檢視所提供服務之成果，或解釋為何會產生該種成果。進行效力評估之主要目的，僅在於獲得基本的服務活動資訊，藉以增強獲改善方案的管控
 +
#成果之評估(outcome evaluation)：成果評估的重點工作在於檢視案主所達成的結果，也就是確認方案成果目標達成之程度為何。
 +
#適切性之評估(adequacy of performance evaluation)：整體表現適切性之評估，有時也被稱為影響效應評估。其主要的關注重點在於，檢視方案服務有否滿足計劃過程所認定之社區需求的程度。
 +
#成本─效率(cost-efficiency evaluation)或成本─功效之評估(cost-effectiveness evaluation)：成本─效率評估檢視之重點在於所提供服務之單位成本；而成本─功效評估則偏重達成某種結果之總成本。更具體言之，成本─效率評估檢視時間、事件、物料、輸出等各種不同的單位成本；而成本─功效評估則考核成功結果的支出成本。
 +
(PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯.【民88】，p252-254)
 +
*按照史克里文(Scriven，1967)的分類，評估可分為：
 +
#過程評估(formative)：又稱為執行管制
 +
##方案管制(program monitoring)：是指在計畫進行過程中，定期提供報告。
 +
##經費管制(expenditure monitoring)：好的經費管制是指將預算做最恰當的運用，即不結餘，也不透支，而且按原計畫項目開支。
 +
##時間管制(time monitoring)：好的時間管制是按進度達成預期目標。
 +
#結果評估(summative)：又稱績效評估；在現實的環境中，基於研究倫理的考量不可能有控制組的存在，也不容許評估人員進行前、後側的比較，唯一能做的可能就是影響評估，有就是一般所謂的one-shot evaluation，這種影響性評估的觀點源自於家庭影響分析(family impact nalyysis)，最常用來估計公共政策社會福利計畫對家庭所照成的影響。
 +
(萬育維編著.【民90】，p161-165)
 +
*為元呈方案評估的任務與達成其目的，方案評估一般可被區分為下列幾種不同的類型(Gabor, Unrau & Grinnel, 1988；Posavac & Carey, 1997,pp.7-10)，包括：
 +
#需求評估(the evaluation of need)：確認和測量一個組織或社區內尚未滿足需求的程度，或是一個特定社會服務的可行性；簡單的說，需求評估是確認案主群有哪項社會問題，並確保方案可實施的範圍。
 +
#可評估性評估(evaluability assessment)：是一種解決社會問題之特定方案模式的發展，而其所針對的社會問題是經過需求評估證實存在的，也是一種決定方案目標是否可以一種有意義的評估方式加以概念化及操作化。
 +
#過程評估(the evaluation of process)：是服務方案介入後，到目標達成之整個過程的監督和測量。
 +
#結果評估(the evaluation of outcome)：是指判定方案達到其整體方案目標的程度
 +
#效率評估(the evaluation of efficiency)：是一種需要大量投入資源才能成功的方案，若要以另一種投入較少資源所獲得類似的成果代替，則它並不必然是一個好的選擇。
 +
(黃源協著.【民88】，p253-256)
 +
*根據以上學者對評估類型做的分類，我認為評估類型有以下幾種：
 +
#需求評估
 +
#可評估性評估
 +
#效力之評估
 +
#成果之評估
 +
#適切性之評估
 +
#成本─效率或成本─功效之評估
 +
#過程評估
 +
#結果評估
  
−
步驟二:完成評估前準備工作<br />
+
=='''方案評估的方式'''==
 +
===依時間順序分===
 +
#方案執行過程評估：是對正在執行中的方案進行評估，主要評估的目的是在於發現方案的進行是否有偏離原先預定的目標。如果出現不一致，可能需要進一步的了解，看是否要修改方案的執行方式或方案目標，使方案的進行能朝向整體目標而行。
 +
#方案執行結果評估：是對已執行完的方案進行評估，比較方案執行前後的差異並加以檢討，以便作為以後類似方案進行的參考。
 +
===依評估者身份分===
 +
#內部的評估(internal evaluation)：由方案執行單位的成員所做的評估工作。此種評估對於執行方案的組織結構，以及評估的計畫方案，能有更詳細、更精確的了解，也有助於往後繼續研究和評估工作的進行。
 +
#外來的評估(external evaluation)：由機構以外的專家所做的評估工作。此種評估較容易維持評估工作的客觀性。
 +
(黃源協著.【民88】，p258-261)
  
−
*誰來評估?
+
=='''方案評估的步驟'''==
 +
*萬育維認為方案評估進行程序為：
 +
#宗旨
 +
#目標
 +
#事前評估
 +
#計畫
 +
#執行計畫
 +
#事中(過程)評估
 +
#事後(影響)評估
 +
(萬育維編著.【民90】，P162)
  
−
*評估所檢驗的輸出或是影響?
+
*黃源協認為方案評估進行的步驟為：
 +
#確認評估目標
 +
#完成評估前的準備工作
 +
#確認方案目標
 +
#確認評估的變項
 +
#收集與評估(或分析)資料
 +
#方案評估的結果
 +
(黃源協著.【民90】，P262-264)
  
−
*評估的發現將如何被使用?
+
*综合以上學者的觀點，我認為方案評估的步驟為：
 +
#宗旨
 +
#完成評估前的準備工作
 +
#確認方案目標
 +
#確認評估的變項
 +
#事前評估
 +
#計畫
 +
#執行計畫
 +
#事中(過程)評估
 +
#事後(影響)評估
  
−
*方案可以被評估嗎?
+
=='''規劃方案評估應注意的事項'''==
 +
'''評估方案可能會受到很多因素的影響，一個有具有專業的評估者，會想辦法去解決阻礙他評估的原因，並加以解決；規劃方案評估，規劃者需要注意下列幾項：'''
 +
===不應期待方案會有猛然的效果===
 +
方案相關工作者往往會對工作效果充滿信心與熱誠，他們常常期待著新方案的結果是非常有效果的，但，要是工作者發現，他們的方案只是稍微優於以前的方案，他們就會覺得挫折，無成就感，特別是新方案被期待的標準更高時
 +
===不要擔心問有關方案的品質是不專業的===
 +
專業的服務必須經過一次又一次的改進與學習，有些工作者會認為問案主有關工作的品質時，會突顯自己的專業能力不夠。但，其實大部分尋求服務的案主，如果知道服務自己的工作者，是一個藉著不斷尋求進步與學習，以提升自己的能力，一定是能滿足案主更高的需求，而且會留下好印象。
 +
===不要擔心方案是否會被終止===
 +
一項評估如果發現有某個方法行不通，該方案可能會被縮減或排除，但是當需要排除設計來解決方案時，常常會面對要以什麼方式來替代的問題，因此，一項評估較可能使方案修正，而不是被取消。方案的贊助者會傾向要求員工的「責信」--責任與信用，作為持續贊助的條件，評估者可以協助員工達到此要求。所以，評估並不會終止方案，而是幫助此方案繼續取得責信的工具。
 +
===不要擔心是否會對方案失去控制===
 +
不管是內部的或外部的評估，員工以及主管都會擔心評估會影響到他們的決策權，這種擔心是毫無根據，但卻很普遍。員工或許會瞭解到他們或許不能操控方案的訊息，但是可以藉由緊密的參與方案進行，而減少他們的擔心。
  
−
步驟三:指認方案目標<br />
+
(改述自黃源協，民88，p.264~268)
  
−
步驟四:指認評估之變項<br />
+
=='''參考文獻'''==
 +
*Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯.  整合社會福利政策與社會工作實務，臺北市：揚智文化，1997【民86】
 +
*PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯.  服務方案之設計與管哩，臺北市：揚智文化，1999【民88】
 +
*萬育維編著； 社會工作概論：理論與實務，臺北市：雙葉書廊，2001【民90】
 +
*Allen Rubin，Earl Babbie著；趙碧華，朱美珍編譯.  研究方法：社會工作暨人文科學領域的運用，臺北市：學富文化，2000【民89】
 +
*黃協源著；  社會工作管理，臺北市：揚智文化，1999【民88】
 +
*Wikipedia (2006 ，October 17).Program evaluation. Retrieved October 17 ， 2006 from http://en.wikipedia.org/wiki/Program_evaluation
  
−
*何謂分析的對象?
+
{{Rank3}}
−
 
+
−
*變項是用觀察或是測量的方式量度?
+
−
 
+
−
步驟五:收集與評估資料<br />
+
−
 
+
−
*指認方案的預期的結果
+
−
 
+
−
*指認方案的未預期的結果
+
−
 
+
−
步驟六:報告評估的結果<br />
+
−
 
+
−
*指認方案的優點與缺點
+
−
 
+
−
*描述方案的效果
+
−
 
+
−
*如果需要提出如何修正的建議
+
−
(資料來源:胡慧嫈等譯，【民86】，p.183)
+
−
 
+
−
==正確的評估態度==
+
−
(羅國英、張紉譯，【民96】)
+
−
 
+
−
#保持謙卑的態度:在評估者進行評估前，機構有自己的運作方式，若評估者帶著本位主義傲慢地去進行評估，會讓態度破壞原有的專業。
+
−
#保持耐性:所有的評估結果都是管理者做決策的重要資訊，當建議未立即受到重視時毋須太灰心，請耐心等待管理者的下一步。
+
−
#重視評估問題的實用性:方案評估時請朝向有實用價值的問題進行評估，管理者要面對人性需求跟效率考察，他們需要的是真正實用的協助而非純理論。
+
−
#針對可評估的議題:不須浪費時間與資源在不可行的議題。
+
−
#別做數據的奴隸:無須貪多資料重點是有意義的資料，不然只是徒然浪費力氣也常因時間壓力無法消化造成更大麻煩。
+
−
#讓報告容易被相關人士了解:新手常犯讓報告含有太多專業術語或複雜統計分析的錯，要成為有效能的評估者，首先要讓使用者理解你的報告。
+
−
#設法評估自己:當建議部被接受時無須氣餒，從新檢視自己過程中是否哪裡不夠好，以便成未來的警惕不再犯相同的錯。
+
−
#鼓勵肯學習的文化與心態:人難免有犯錯的時候，我們幫助他能誠心面對問題記取教訓，而不是企圖規避任何責難。
+
−
 
+
−
==參考文獻==
+
−
*方案評估:方法及案例討論，Emil J. Posavac, Raymond G. Carey原著;羅國英,張紉譯，臺北市：雙葉書廊，2007【民96】
+
−
*社會工作概論：理論與實務，萬育維編著，臺北市：雙葉書廊，2001【民90】
+
−
*研究方法：社會工作暨人文科學領域的運用，Allen Rubin，Earl Babbie著;趙碧華，朱美珍編譯，臺北市：學富文化，2000【民89】
+
−
*整合社會福利政策與社會工作實務，Kathleen Mclnnis-Dittrich原著;胡慧嫈等譯，臺北市：揚智文化，1997【民86】
+
−
*社會工作研究方法，Christine Marlow著;張英陣校閱，石志偉等譯，臺北市:洪葉文化，2001【民90】
+
−
*社會工作研究方法，Allen Rubin，Earl R. Babbie著;林萬億、鄭麗珍、陳毓文審訂，陳若平、張祐綾等譯，臺北市:五南圖書，2007【民96】
+
−
*方案評估:原理與實務，Colin Robson著;張英陣審訂，魏希聖、鄭怡世譯，臺北市:洪葉文化，2005【民94】
+
−
*服務方案之設計與管理，PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著;高迪理譯，臺北市:揚智文化，1999【民88】
+
−
*社會工作研究法，簡春安、鄒平儀合著，臺北市:巨流圖書，1998【民87】
+
−
* '''''Social Work Processes'''''，Beulah R. Compton & Burt Galaway， Brooks/Cole Publishing Company，1999
+

於 2009年12月10日 (四) 07:24 的修訂

「方案評估(programme evaluation)介於社會工作實務和研究之間，基本的目的在於運用科學的思考、方法、測量和分析，以提昇社會方案的效率與效益，以及社會工作服務的品質」 (黃源協著.【民88】，p251) 

5 雖然把眾人之言都放上來很佔篇幅，但有嘗試自己做歸納很好。

方案評估的目的

當方案計畫者致力於準備執行評估考核之際，他們試圖達成兩個目的：(1)衡量方案在符合先前所陳述之服務目標的相對成功率；以及(2)確認在目前的方案執行中仍有可能做改變之處。

  • Kathleen Mclnnis-Dittrich認為評估方案的目的有：
  1. 透過評估幫助機構做未來的計劃，以及機構的管理(Portney，1986)
  2. 對於捐款者維持債信
  3. 確定方案是否出現未曾預期的效果
  4. 獲得政策執行和成果的量化實證的敘述資料

(Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯.【民86】，P173-175)

  • 萬育維認為評估方案的目的有：
  1. 協助行政資源
  2. 改善服務素質
  3. 確定服務介入和期望成果之因果關係
  4. 證明服務方案目標到達之程度
  5. 向有關政府部門和資助團體提供交代
  6. 建立繼續不斷的支持

(萬育維編著.【民90】，P161)

  • Allen Rubin，Earl Babbie認為評估方案的目的有：
  1. 方案的最終成功
  2. 方案如何實施的問題
  3. 方案計畫和發展所需的資訊

(Allen Rubin，Earl Babbie著；趙碧華，朱美珍編譯.【民89】，P600)

  • 根據以上學者對評估目的的看法，我認為評估方案的目的為以下幾點：
  1. 協助行政資源
  2. 改善服務素質
  3. 確定方案是否出現未曾預期的效果
  4. 確定服務介入和期望成果之因果關係
  5. 證明服務方案目標到達之程度
  6. 向有關政府部門和資助團體提供交代
  7. 建立繼續不斷的支持
  8. 方案如何實施的問題

方案評估的準備工作

  • Kathleen Mclnnis-Dittrich認為評估前的準備工作有以下四點：
  1. 決定由誰來評估
  2. 決定評估重點是在輸出(output)或是影響(impact)，或是兩者都有
  3. 決定如何使用評估資料
  4. 完整的評估方案

(Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯.【民86】，p175-177)

  • Suchman認為好的方案評估，須具以下準備工作：
  1. 明確之問題分析
  2. 確認欲評估之目的
  3. 詳細描述服務活動並將其標準化
  4. 測量產生改變的程度
  5. 確定方案的成本開支，包括與達成結果相關之成本
  6. 判定所觀察到的改變程度是來自服務活動或其他因素

(PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯.【民88】，p248)

  • 根據以上學者所提出的方案評估的準備工作，我認為方案評估的準備工作須具備下列幾點：
  1. 決定由誰來評估
  2. 決定評估重點是在輸出(output)或是影響(impact)，或是兩者都有
  3. 決定如何使用評估資料
  4. 明確之問題分析
  5. 確認欲評估之目的
  6. 詳細描述服務活動並將其標準化
  7. 測量產生改變的程度
  8. 確定方案的成本開支，包括與達成結果相關之成本
  9. 判定所觀察到的改變程度是來自服務活動或其他因素

方案評估之類型

  • 「Program evaluation is often divided into types of evaluation.
  1. Formative Evaluation occurs early in the program. The results are used to decide how the program is delivered, or what form the program will take. For example, an exercise program for elderly adults would seek to learn what activities are motivating and interesting to this group. These activities would then be included in the program.
  2. Process Evaluation is concerned with how the program is delivered. It deals with things such as when the program activities occur, where they occur, and who delivers them. In other words, it asks the question: Is the program being delivered as intended? An effective program may not yield desired results if it is not delivered properly.
  3. Outcome Evaluation addresses the question of what are the results. It is common to speak of short-term outcomes and long-term outcomes. For example, in an exercise program, a short-term outcome could be a change knowledge about the health effects of exercise, or it could be a change in exercise behavior. A long-term outcome could be less likelihood of dying from heart disease.」

(Wikipedia Program evaluation ， 2006)

  • PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin認為方案評估考核的種類很多，可以藉此用來檢視方案的各種不同層面。若欲進行任何種類的評估考核，則應基於兩項實際上的考量，一為可行性(feasibility),另一為決策者對方案運作相關資訊的需求。一般而言，方案評估有四種類型，分別能夠對方案的作用提供不同資訊，它們是：
  1. 效力之評估(effort evaluation)：效力的評估考核反應出服務提供或運作過程的狀況，對所提供的服務類型與服務量進行說明。再評估效力和運作過程之際，我們並不試圖檢視所提供服務之成果，或解釋為何會產生該種成果。進行效力評估之主要目的，僅在於獲得基本的服務活動資訊，藉以增強獲改善方案的管控
  2. 成果之評估(outcome evaluation)：成果評估的重點工作在於檢視案主所達成的結果，也就是確認方案成果目標達成之程度為何。
  3. 適切性之評估(adequacy of performance evaluation)：整體表現適切性之評估，有時也被稱為影響效應評估。其主要的關注重點在於，檢視方案服務有否滿足計劃過程所認定之社區需求的程度。
  4. 成本─效率(cost-efficiency evaluation)或成本─功效之評估(cost-effectiveness evaluation)：成本─效率評估檢視之重點在於所提供服務之單位成本；而成本─功效評估則偏重達成某種結果之總成本。更具體言之，成本─效率評估檢視時間、事件、物料、輸出等各種不同的單位成本；而成本─功效評估則考核成功結果的支出成本。

(PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯.【民88】，p252-254)

  • 按照史克里文(Scriven，1967)的分類，評估可分為：
  1. 過程評估(formative)：又稱為執行管制
    1. 方案管制(program monitoring)：是指在計畫進行過程中，定期提供報告。
    2. 經費管制(expenditure monitoring)：好的經費管制是指將預算做最恰當的運用，即不結餘，也不透支，而且按原計畫項目開支。
    3. 時間管制(time monitoring)：好的時間管制是按進度達成預期目標。
  2. 結果評估(summative)：又稱績效評估；在現實的環境中，基於研究倫理的考量不可能有控制組的存在，也不容許評估人員進行前、後側的比較，唯一能做的可能就是影響評估，有就是一般所謂的one-shot evaluation，這種影響性評估的觀點源自於家庭影響分析(family impact nalyysis)，最常用來估計公共政策社會福利計畫對家庭所照成的影響。

(萬育維編著.【民90】，p161-165)

  • 為元呈方案評估的任務與達成其目的，方案評估一般可被區分為下列幾種不同的類型(Gabor, Unrau & Grinnel, 1988；Posavac & Carey, 1997,pp.7-10)，包括：
  1. 需求評估(the evaluation of need)：確認和測量一個組織或社區內尚未滿足需求的程度，或是一個特定社會服務的可行性；簡單的說，需求評估是確認案主群有哪項社會問題，並確保方案可實施的範圍。
  2. 可評估性評估(evaluability assessment)：是一種解決社會問題之特定方案模式的發展，而其所針對的社會問題是經過需求評估證實存在的，也是一種決定方案目標是否可以一種有意義的評估方式加以概念化及操作化。
  3. 過程評估(the evaluation of process)：是服務方案介入後，到目標達成之整個過程的監督和測量。
  4. 結果評估(the evaluation of outcome)：是指判定方案達到其整體方案目標的程度
  5. 效率評估(the evaluation of efficiency)：是一種需要大量投入資源才能成功的方案，若要以另一種投入較少資源所獲得類似的成果代替，則它並不必然是一個好的選擇。

(黃源協著.【民88】，p253-256)

  • 根據以上學者對評估類型做的分類，我認為評估類型有以下幾種：
  1. 需求評估
  2. 可評估性評估
  3. 效力之評估
  4. 成果之評估
  5. 適切性之評估
  6. 成本─效率或成本─功效之評估
  7. 過程評估
  8. 結果評估

方案評估的方式

依時間順序分

  1. 方案執行過程評估：是對正在執行中的方案進行評估，主要評估的目的是在於發現方案的進行是否有偏離原先預定的目標。如果出現不一致，可能需要進一步的了解，看是否要修改方案的執行方式或方案目標，使方案的進行能朝向整體目標而行。
  2. 方案執行結果評估：是對已執行完的方案進行評估，比較方案執行前後的差異並加以檢討，以便作為以後類似方案進行的參考。

依評估者身份分

  1. 內部的評估(internal evaluation)：由方案執行單位的成員所做的評估工作。此種評估對於執行方案的組織結構，以及評估的計畫方案，能有更詳細、更精確的了解，也有助於往後繼續研究和評估工作的進行。
  2. 外來的評估(external evaluation)：由機構以外的專家所做的評估工作。此種評估較容易維持評估工作的客觀性。

(黃源協著.【民88】，p258-261)

方案評估的步驟

  • 萬育維認為方案評估進行程序為：
  1. 宗旨
  2. 目標
  3. 事前評估
  4. 計畫
  5. 執行計畫
  6. 事中(過程)評估
  7. 事後(影響)評估

(萬育維編著.【民90】，P162)

  • 黃源協認為方案評估進行的步驟為：
  1. 確認評估目標
  2. 完成評估前的準備工作
  3. 確認方案目標
  4. 確認評估的變項
  5. 收集與評估(或分析)資料
  6. 方案評估的結果

(黃源協著.【民90】，P262-264)

  • 综合以上學者的觀點，我認為方案評估的步驟為：
  1. 宗旨
  2. 完成評估前的準備工作
  3. 確認方案目標
  4. 確認評估的變項
  5. 事前評估
  6. 計畫
  7. 執行計畫
  8. 事中(過程)評估
  9. 事後(影響)評估

規劃方案評估應注意的事項

評估方案可能會受到很多因素的影響，一個有具有專業的評估者，會想辦法去解決阻礙他評估的原因，並加以解決；規劃方案評估，規劃者需要注意下列幾項：

不應期待方案會有猛然的效果

方案相關工作者往往會對工作效果充滿信心與熱誠，他們常常期待著新方案的結果是非常有效果的，但，要是工作者發現，他們的方案只是稍微優於以前的方案，他們就會覺得挫折，無成就感，特別是新方案被期待的標準更高時

不要擔心問有關方案的品質是不專業的

專業的服務必須經過一次又一次的改進與學習，有些工作者會認為問案主有關工作的品質時，會突顯自己的專業能力不夠。但，其實大部分尋求服務的案主，如果知道服務自己的工作者，是一個藉著不斷尋求進步與學習，以提升自己的能力，一定是能滿足案主更高的需求，而且會留下好印象。

不要擔心方案是否會被終止

一項評估如果發現有某個方法行不通，該方案可能會被縮減或排除，但是當需要排除設計來解決方案時，常常會面對要以什麼方式來替代的問題，因此，一項評估較可能使方案修正，而不是被取消。方案的贊助者會傾向要求員工的「責信」--責任與信用，作為持續贊助的條件，評估者可以協助員工達到此要求。所以，評估並不會終止方案，而是幫助此方案繼續取得責信的工具。

不要擔心是否會對方案失去控制

不管是內部的或外部的評估，員工以及主管都會擔心評估會影響到他們的決策權，這種擔心是毫無根據，但卻很普遍。員工或許會瞭解到他們或許不能操控方案的訊息，但是可以藉由緊密的參與方案進行，而減少他們的擔心。

(改述自黃源協，民88，p.264~268)

參考文獻

  • Kathleen Mclnnis-Dittrich原著；胡慧嫈等譯. 整合社會福利政策與社會工作實務，臺北市：揚智文化，1997【民86】
  • PeterM.Kettner,RobertM.Moroney,LawrenceL.Martin著；高迪理譯. 服務方案之設計與管哩，臺北市：揚智文化，1999【民88】
  • 萬育維編著； 社會工作概論：理論與實務，臺北市：雙葉書廊，2001【民90】
  • Allen Rubin，Earl Babbie著；趙碧華，朱美珍編譯. 研究方法：社會工作暨人文科學領域的運用，臺北市：學富文化，2000【民89】
  • 黃協源著； 社會工作管理，臺北市：揚智文化，1999【民88】
  • Wikipedia (2006 ，October 17).Program evaluation. Retrieved October 17 ， 2006 from http://en.wikipedia.org/wiki/Program_evaluation
Moderate.png
取自 "https://cswe.casehsu.org/index.php?title=方案評估&oldid=38594"