公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例
30
0
0
全文
(2) ‧公共行政學報‧. 第三十期. 民98年3月. 壹、緒論 近年來受到國際景氣趨緩、國內經濟結構轉變及政治情勢變化的影響，台灣自 二○○一年開始，年平均失業率均超過 3% 以上。1 研究發現，台灣的失業問題， 並不僅是勞動力市場供過於求的現象，而是同時在某些產業出現供給不足，但另一 些產業出現供給過剩的現象（黃敬峰，2004）。當前台灣的問題恐非特例，而是世 界各國普遍面對的現象，使得失業問題的處理將愈加複雜，政府不再僅單純地增加 國內公共建設投資或給予失業救助即可將問題迎刃而解。 隨著時代的變遷，公共職業訓練已逐漸成為各國用來解決失業問題的政策工具 （衛民、許繼峰，2006）。由於職業訓練須配合勞動市場需求，迅速培養市場所需 職能之勞動力，但長期以來政府直接提供的公共職業訓練，似逐漸無法跟上勞動市 場需求變化的腳步，使得公共職業訓練逐漸喪失滿足經濟產業轉型之人力需求的積 極性政策工具地位，而淪為另一種照顧弱勢失業族群的消極性社會救濟措施。受到 政府再造思潮的影響，公共管理者開始強調結合民間資源，提供更具競爭力與效率 的服務，這樣的趨勢使得委託民間辦理公共職業訓練漸成為各國政府盛行的途徑。 行政院勞工委員會職業訓練局（以下簡稱職訓局）為提供企業與民眾更多元之職業 訓練需求，近年來除持續擴大辦理所屬訓練機構自辦職前（養成）訓練外，更積極 開發民間訓練資源，以委辦或補助辦理方式，鼓勵民間資源投入職業訓練產業的作 法，即可視為受當代政府再造思維影響的結果。 從政策工具的角度而言，委託民間辦理公共事務，可視為是間接政策工具 （indirect policy tools）的運用，此些工具有獨特的運用程序、技術要求以及遞送機 制，亦即擁有自己獨特的「政治經濟學」（Salamon, 2002: 2）。惟政府傳統以層級 節制、權威為基礎的管理方式，恐無法對其進行適當的管理。不幸的是，政府對於 間接政策工具依賴的速度，常勝過於發展此些工具之管理方法的速度，使得政府管 理間接治理者常比管理直接的政策工具（direct tools）要困難許多（Kettle, 2002: 492）。Kettle 曾貼切地指出，政府在對間接治理者的管理上，正面臨三個主要的 挑戰，分別是：使用層級節制的官僚體系來管理非層級節制工具；需與具不同誘因 1. 依據行政院主計處統計，九十年失業率為 4.57%、九十一年失業率為 5.17%、九十二年 失業率為 4.99%、九十三年失業率為 4.44%、九十四年失業率為 4.13%、九十五年失業率 為 3.91%。. ‧34‧.
(3) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 及動機之行動者打交道；以及調和政府的底線---政治課責和各合作夥伴不同的財務 底線所產生之衝突（Kettle, 2002）。因此，隨著委外風潮的普及，公共管理者對發 展一套可同時滿足民主課責機制以及各合作夥伴認同之管理方法的需求可說是愈來 愈迫切。 職訓局為回應委託民間辦理公共職業訓練所帶來的管理挑戰，近年來已發展出 將委外績效評估工作再委託民間辦理的措施，目的在以貼近實務觀點評估各民間承 訓機構的績效。本研究除對職訓局現行委託民間辦理公共職業訓練績效評估的作法 予以評估外，還進一步藉由 CIPP 評估模式的應用，配合文獻分析、焦點團體座談 及「分析層級程序法」（Analytic Hierarchy Process, AHP）等多元研究方法，建構 政府委託民間辦理公共職業訓練之績效評估指標。文末作者將針對現行公共職業訓 練績效評估方案提出改善建議，並提供具科學方法論基礎之分析程序與方法，期協 助公共管理者於實務工作中仿效或改良應用，以提升公共管理者管理間接政府的能 力。2. 貳、文獻探討 一、CIPP 模式簡介 為解決一九六○年代美國部分接受聯邦政府補助的學區，缺乏評鑑方法評估聯 邦政府補助學區的教育成效的問題，引發 Daniel Stufflebeam 與 Egon Guba 思考依 據「目標導向」概念進行評估模式的設計。一九六五年美國通過的「初等及中等教 育法案」（Elementary and Secondary Education Act, ESEA），更加速了聯邦政府要 求所有接受該法案補助的方案，都必須進行方案評估（program evaluation）的要 求，使得 Stufflebeam 所設計的 CIPP 評估模式，獲得教育與訓練實務界的普遍重 視，並逐漸發展成為教育方案評估所參照的概念模式（Felix, 1979）。由於 CIPP 模式的後設假定，著重在改善而非驗證（Stufflebeam, 1969；Stufflebeam, 2002）， 與本文期望藉由一套完整之評估指標建立方法，提供適當資訊協助決策者改善計畫 或政策品質的想法不謀而合，加上 CIPP 模式已成為近年來於教育和訓練方案評鑑 工作上最常被使用的理論模式，故本文選擇運用此模式做為研究設計基礎。 2. Donald F. Kettle 對這些因政府使用間接政策工具，而得以參與公共事務之治理者，給予 一個極有趣的名稱，叫做間接政府（indirect government）（Kettle, 2002）。 ‧35‧.
(4) ‧公共行政學報‧. 第三十期. 民98年3月. 自一九六六年迄今，CIPP 模式已發展至第五代。第一代模式主要發表於一九 六六年，初步著重在過程與成果的評估；第二代模式發表於一九六七年，此時建構 完整的背景、輸入、過程與成果評估，並強調目標的設定必須被背景評估所引導， 其中應包括有需求評估；計畫的設計必須被輸入評估所引導，其中應包括替選計畫 策略（alternative program strategies）的評估；第三代模式發表於一九七一年，重新 將四種類型的評估放置在一個多系統、改善取向的參考架構（improvement-oriented framework）下；第四代模式發表於一九七二年，主張模式可同時應用在形成性評 估（formative evaluation）與總結性評估（summative evaluation）；3 第五代模式發 表 於 二 ○ ○ 二 年 ， 並 將 成 果 評 估 進 一 步 區 分 成 影 響 （ impact ） 、 有 效 性 （effectiveness）、持續性（sustainability）與可移轉性（transportability）等四種次 評估， 4 目的在協助評估與確保一個計畫的長期可行性（long term viability） （Stufflebeam, 2002）。總體來說，CIPP 模式發展至目前已成為一個廣博性的參考 架構，可用以指導專案、計畫、人事、產品、制度與系統的形成，其應用領域並已 擴展至教育、住宅與社區發展、交通安全、軍隊人事評量系統等政策或方案領域 （Stufflebeam, 2003: 2）。 CIPP 為背景（context evaluation）、輸入（input evaluation）、過程（process evaluation）及產出（product evaluation）等四種評估第一個英文字母的簡寫。依據 Stufflebeam（2003: 2-4）的看法，四種評估的內涵如下： （一）背景評估（C）：藉由評估需求、問題、資產與機會，來幫助決策者界定目 標與優先次序，並幫助更廣大的使用者來判斷目標、優先次序與結果。 （二）輸入評估（I）：用於評估替選的途徑、競選的行動計畫、用人計畫與預算 等的可行性與潛在的成本效益，以符合預定的需求與目標。 （三）過程評估（P）：用於評估計畫的執行情形，以幫助成員及附隨的廣大使用 3. 4. 所謂形成性評評估係針對成果產生過程間的評估，可用來幫助背景、投入、過程與產出 評估詢問下列問題，包括：應做哪些事？該如何做？是否做了？是否成功？。總結性評 估則是針對最終成果的評估，評估者可提供有關 CIPP 評估的相關資訊，評估者可使用 這些資訊來探討下列回溯性（retrospective）問題，包括：重要的需求被注意了嗎？工作 是否依循原擁護的計畫或預算？服務是否被專業的執行並依需要調整？工作是否成功？ 此四個成產出評鑑的次評估，主要是在詢問下列問題（Stufflebeam, 2002: 1）：是否嘉惠 了正確的受益者？受益者需求是否被滿足？受益者的利益是否能持續？此一產生利益的 過程是否可證明其能有效地移轉與適應於其他的環境？此四項次評估項目在 Stufflebeam 於二○○七年出版第二版的評估檢核手冊時，仍持續維持，詳請參閱 http://www.wmich. edu/evalctr/checklists/cippchecklist_mar07.pdf, last visited 2008.08.15。. ‧36‧.
(5) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 者對活動計畫績效與產出的判斷及詮釋。 （四）產出評估（P）：用於確認與評估結果，其中包括意欲的與非意欲的，短期 與長期的結果。藉由對結果的評估，可幫助成員確認組織是否達成重要成 果，並幫助使用者估算其目標需求的達成程度。 圖一呈現出 CIPP 模式的主要構成元素，各元素可再區分成由三個層次，分別 是：中心的核心價值；次層的評估焦點；以及最外層的評估類型。核心價值可開展 成四個評估焦點，包括目標（goals）、計畫（plans）、行動（actions）與產出 （outcomes）；評估焦點與 CIPP 四個評估類型間的雙箭頭表示特定焦點與評估方 式是彼此互動的關係。目標設定係為背景評估所需面對的重要問題，換言之，透過 目標的設定可提供評估做為確認方案績效成果與改進的資訊。輸入評估係計畫改善 情形，以便於提供計畫與執行方向的相關判斷，進而強化計畫內容。過程評估主要 是分析因計畫行動所引起的問題，該評估可提供對於活動及其相關的回饋資訊，以 強化成員的執行績效。至於結果評估則主要是針對行動成果達成度及行動的副作用 提供相關資訊，以幫助決策者對最終的成果判斷並協助追求更佳的成果。. 輸. 背 景. 入. 評 估. 評 目標. 計畫. 估. 核心價值 結. 過 結果. 果. 行動. 評. 程 評. 估. 估. 圖一 CIPP 評估模式的主要元素及其和計畫的關係圖 資料來源：Stufflebeam（2003: 7）。 ‧37‧.
(6) ‧公共行政學報‧. 第三十期. 民98年3月. CIPP 模式採用多元方法觀點，透過各式質化與量化的方法以及三角測量程序 （triangulation procedures）來評估與詮釋多樣性的資訊（Stufflebeam, 2003: 14）。 依據三角測量（triangulation）方法的精神可知，為了減少某些方法特性對特定知 識主體的影響程度，研究者可以運用兩種以上的資料蒐集方法，來檢驗假設變項與 歸納研究結果（Bogdan & Biklen, 1998: 104）。如果由多元資料蒐集方法所得到的 研究發現是一致的，則這些發現的效度就能相形提高。由於社會科學的評估工作無 法向自然科學實驗一樣，透過單一研究方式取得完整正確的資訊，因此透過各種不 同方法取得多元資訊加以比較、對照，亦可說是為求得正確資訊的權宜作法。. 二、個案背景說明 由於經濟景氣的快速變化，加上國內各區域產業發展的不同，使得訓練職類與 課程的規劃與安排必須具有彈性與敏銳度，才能適時提供就業市場所需的人才。為 評估公共職業訓練績效，職訓局在民國九十一年通過職業訓練績效評鑑工作計畫， 針對接受職訓局所屬六所職業訓練中心委辦或補助地方政府委辦、接受持職訓券學 員的單位及辦理的班次，進行訓練單位的績效評鑑，其具體的評鑑範圍包括，資訊 軟體人才培訓、新興重點產業科技人才培訓、補助地方政府辦理訓練、彌補轄區訓 練不足之委外訓練、職訓券訓練計畫與補助民間機構及工會團體等六大類訓練計 畫。同時，對學員進行問卷調查，以瞭解職訓課程對就業的幫助程度，及學員對訓 練課程的看法。此外，職訓局更以專案方式辦理職業訓練單位績效評鑑（中華民國 全國工業總會，2006），設立相關的評估標準與指標，且擴大至公共與民間的訓練 單位。該評鑑分別就建立安全指標（訓練機構場地）、機構指標（訓練師資、行政 管理、訓練空間、學員滿意度）、就業率指標（就業服務、就業率調查、證照通過 率）等指標項目進行評估。 當前職訓局所採行的評估模式，分為對訓練機構的調查（包括受評單位自評表 與評鑑委員實地評鑑），以及對受訓學員的滿意度調查。為統合各項計畫之績效考 核工作，職訓局以委外辦理之方式，委託民間機構協助延攬學者專家組成評鑑委員 會，透過單位自評、實地審查、書面審查、郵寄問卷、電話訪問等方式，進行對民 間訓練機構的評估工作，評估結果則提供民眾選擇訓練單位及職訓局下一年度持續 委辦與否之參考。由於評估結果影響委託辦理單位之權益與聲譽，因此委託民間辦 理承訓機構之辦訓績效評鑑，主要以辦理過程及結果是否公正客觀為考量重點，其 工作目的主要為下列五點（李季芳，2006）：（一）建構客觀、公正、透明的評鑑. ‧38‧.
(7) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 機制；（二）評鑑職業訓練單位優劣，發覺優質訓練機構；（三）提出職業訓練之 政策建議；（四）輔導訓練機構改善訓練績效；（五）成果經驗擴散與經驗分享。 由於職訓局公共職業訓練委外評鑑的結果，將影響民間承訓機構下一年度爭取職訓 局承辦公共職業訓練相關標案的資格，故委辦單位所使用的績效評估指標的內容， 常引起許多受評承訓單位的質疑。因此，建構一組符合學理、具公信力的評估指 標，即成為職訓局辦理公共職業訓練委外評鑑工作所高度重視的重點工作。. 參、研究設計 鑑於公共職業訓練績效評估制度涉及多重的利害關係人及複雜的決策環境等多 重維度，建構績效評估指標的難度頗高。加上職訓局現行委外職業訓練績效評估缺 乏完整的理論邏輯架構及評鑑歷史資料的積累，故在有限的人力與研究經費的限制 下，本研究參採多元方法的觀點，選擇透過文獻分析、焦點團體座談及分析層級程 序法（Analytic Hierarchy Process, AHP）等，作為本文的研究方法。茲將各項方法 的應用目的分述如下： 一、文獻分析法：主要用於蒐集與我國公共職業訓練相關之法令規章、政府計畫及 職業訓練相關研究等官方檔案文獻資料，俾據以分析我國現行職業訓練之政策 目標與評鑑目的。 二、焦點團體座談法：本研究針對職業訓練政策、訓練績效與績效評鑑等主題，邀 請政府機關代表（2 名）、民間承訓機構代表（4 名）、大學教授職業訓練、 人力資源管理及企業管理等領域學者（4 名）以及受政府委辦辦理績效評鑑人 員（2 名）。透過學者專家座談方法，對現行職業訓練績效評估的相關議題進 行論證與對話。另外，藉由焦點團體座談，也讓學者專家們更能具焦於本研究 討論的績效評估構面與指標項目，以便在進行 AHP 問卷調查前，能先行刪除 各專家較無共識的構面與指標項目，提高 AHP 問卷調查結果的一致性與調查 效率。 三、分析層級程序法：鑑於職業訓練績效評估制度通常涉及多重的利害關係人及複 雜的決策環境等多重維度，故建構適當的績效評估指標的難度不低。加上本文 研究目的係在提出改善現行評估指標的方法與建議，且相關政策利害關係者對 於評估指標內容尚欠缺認同，故作者選擇採用「分析層級程序法」（Analytic Hierarchy Process, AHP），協助將複雜的評估指標的抉擇與權重分配問題，予 ‧39‧.
(8) ‧公共行政學報‧. 第三十期. 民98年3月. 以進行結構化、系統化的重組，以利決策者找出最佳的績效評估方案。AHP 是 Thomas L. Saaty 於一九七一年提出，該方法特別適用在決策需考慮到多種 決策元素及元素間存有複雜關係的情境，包括目標、方案、決策者等元素。透 過分析層級程序法可利用層級的結構，將複雜問題系統化，並將決策元素劃分 成不同維度（dimentions），俾從不同維度將問題加以重新分解和組織，使大 型複雜的決策問題，可以解構成多個小的子問題。最後，決策者可根據 AHP 的方法步驟分別做比較評估後再整合，俾將複雜的問題簡化而方便做決策（簡 禛富，2005）。 總體而言，筆者透過文獻分析方法，蒐集與分析和公共職業訓練政策相關的文 獻資料，以釐清政策目標，並協助形成焦點團體座談題綱及 AHP 問卷。在焦點團 體座談的專家遴選上，主要是透過職訓局泰山職訓中心協助推薦熟悉公共職業訓練 領域的政府代表、專家、學者、民間承訓廠商代表等參與座談，並邀請參與座談之 專家、學者於會後參與 AHP 問卷調查。惟 AHP 的調查結果係依據決策者主觀偏好 而建構，故受訪者的專業與對問題的瞭解程度將影響決策的品質。其次，AHP 的 基本假定為一線性模式，故各決策因素必須符合偏好獨立（preference independence ）的條件。所以，當實際情況不符合線性模式的假定時，AHP 的分析結果亦將有 所偏差。最後，由於政策目標涉及多重利害關係人（stakeholders），如政府決策者 （行政與立法部門）、民間承訓機構、失業民眾、求才廠商等，礙於研究時間、研 究成本及利害關係人可觸及性的限制，使得本研究僅能從文獻資料及有限的學者專 家意見，推測政策的可能目標。這使得本研究對於職訓局公共職業訓練績效評估之 背景評估部分，在缺乏職訓局政策利害關係人參與的情況下，作者僅能建構初步的 研究構面，而無法依據利害關係者的績效目標，提出完整的評估指標。 至於在調查程序上，作者先透過文獻分析取得個案基本資料，復進行學者專家 的焦點團體座談（2 場），凝聚評估指標共識，並依據共識建構 AHP 問卷。最後 透過電子郵件傳遞問卷（共發放 12 份），且經由面訪與電話訪問，說明問卷內容 與填答方式，並於問卷發放 3 日後以電話催收。若受訪者對問卷內容有不清之處， 則再行面訪說明。回收之問卷則使用 Expert Choice 11.0 版軟體進行分析。總之， 本研究係依據 CIPP 評估模式及前述三種方法交互檢證，期使研究結果更具豐富 性，最終希望能建構真實反應訓練成效且具有本土化（localize）、系統化的職業 訓練績效評估制度與指標建構。. ‧40‧.
(9) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 肆、公共職業訓練績效評估構面之發展 方案評估（program evaluation）的主要任務，在於提供足夠的資訊來協助人們 審查 方案 的優 點或 價 值 （羅 國英 、張 紉 譯，2007 ：4 ）。從 這個 角度 出發 ， Posavac 與 Carey 認為方案的計畫者或管理者，對於方案的評估應具備有下列七種 責任，分別是：確認資源被投入真正需要的地方、確認規劃的方案的確已經在提供 服務、檢驗服務的成果、判斷哪些服務得到了最好的成果、判斷哪些方案所提供的 服務是最被需要的、提供必要訊息改善方案品質以及檢查方案是否有預期外的副作 用（羅國英、張紉 譯，2007：4）。由於現行評估指標的主要問題在於指標無法連 結政府委託民間辦理公共職業訓練之政策目標，故降低測量結果對方案的解釋力。 因此，為辨明公共管理者就政府委託民間辦理公共職業訓練方案責任之歸屬，作者 藉由 CIPP 模式的指引，透過文獻分析及焦點團體座談，重新檢討政府委託民間辦 理公共職業訓練之績效評估指標構面及內涵如下：. 一、背景評估（C） 所謂職業訓練（vocational training）意指教導準備就業者所需的職業技能，或 為提升以就業勞工工作上所需的工作技能與相關知識，所實施的各種訓練。依我國 職業訓練法第三條規定，所謂職業訓練「係指對未就業國民所實施之職前訓練及對 已就業國民所實施之在職訓練…」，其中未就業國民的職前訓練就是教導準備就業 所需的訓練；已就業國民的在職訓練，便是指提升已就業勞工工作上所需的工作技 能與相關知識的訓練。依據制度發展之過程及現行實務，職業訓練法所稱對未就業 國民所實施之職前訓練，主要是針對不特定的社會大眾為招生對象，而學員的就業 也未以特定機構為訴求，訓練可藉由公共職業訓練機構直接實施，或由各級政府專 託民間職訓機構實施的訓練，此即為本文所稱之公共職業訓練。惟在制度發展過程 中，在職訓練與職前訓練實密不可分，故有關於制度面之背景因素的探討，仍無可 避免地會包含此兩個職業訓練範圍。 從歐陸的職業訓練發展歷史得知，職業訓練係源自於中古世紀的學徒制 （apprenticeship）。以我國職業訓練發展的軌跡來看，學徒制亦是我國最早採用的 職業訓練雛型，如學者張波鋒（1988）便曾在在其著作《職業訓練》一書中提到： 我國職業訓練制度之建立實淵源於學徒制度。不過，我國現代職業訓練正式法令制. ‧41‧.
(10) ‧公共行政學報‧. 第三十期. 民98年3月. 度之始，應追溯至民國十八年十二月三十日國民政府公佈之工廠法，該法列有「學 徒」專章，目的在將學徒訓練相關事項載入勞工法規，藉以規範勞資關係保障職工 學徒之權益（鍾凱雯等，2004：6）。不過，隨著當時國內的戰事頻仍，職業訓練 的發展也因此為之受挫，直到民國四十年代以後，職業訓練才又重新為政府重視。 學理上多將就業服務、職業訓練與失業保險等三者，稱為構成就業安全體系的 三大支柱。現代國家為保障人民工作權、促進人民就業以及使人民免於失業恐懼與 危險，近年來已紛紛致力於建立就業安全（employment security）體系。 5 我國政 府為服膺憲法規定，政府陸續於民國七十二年制訂「職業訓練法」、民國八十一年 制訂「就業服務法」，至民國九十一年制訂「就業保險法」後始完備我國就業安全 之法制體系。一般咸認，公共職業訓練之價值在於協助失業者提升其就業技能與競 爭力，促使其儘速重返勞動力市場。至於對已就業國民所實施之在職訓練，主要價 值為強化在職國民之工作競爭力，而藉由企業訓練機構、公共訓練機構或接受政府 補助之訓練機構實施的訓練，增加其升遷、轉換工作職務與工作環境之機會，進而 提升工作生活品質。從兩者服務範圍的比較，可歸納出公共職業訓練的核心價值， 在使失業國民能獲得適當的訓練以充實就業知能，並成功返回工作職場。因此，在 規劃實施上，公共職業訓練必須以國家整體人力供需情況作為規劃依據，並以實現 全體社會最大效益為目標（邱欣怡，2001：10）。近年來公共職業訓練的重點除辦 理訓練外，更著力於訓練資源整合，建構職業訓練網絡、規劃購買就業市場所需之 訓練、藉訓練促進民間產業之轉型及職業訓練成效之評估，俾有效分配職業訓練資 源。 然而，藉由市場機制提供職業訓練常不足以應付社會所需，主要的原因是 （Gasskov, 2000: 8）： （一）市場常無法提供足夠的誘因給個人與企業來分配適當的預算從事技能訓練。 （二）不論是雇主或員工對於付費參加職業訓練皆會感到不情願。 （三）特別是在貧窮的國家，有限的家庭儲蓄與未開發的金融市場，有可能會降低 借錢給私人去接受職業訓練的機會。. 5. 就業安全有廣義與狹義兩種。狹義定的為「就業安全是一種保護全時工人不會因與工作 表現或行為無關的理由，而喪失工作的一種作法」（Loseby, 1992: 9）。簡單地說，就是 提供措施以保護工人不能任意被雇主解雇。廣義的就業安全是指「保障人民工作權、促 進人民就業，免於失業危險所建構的體系」（衛民、許繼峰，2006：296），本文採用的 是廣義的定義。. ‧42‧.
(11) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. （四）資訊對勞工與訓練市場而言可能是不足的、過時的或錯誤引導的，使個人、 企業或訓練提供者就對訓練進行投資而言，僅有有限的選擇。 基於上述原因，使得公共職業訓練無法藉由市場機能來充分滿足社會所需，故 必須仰賴政府提供或以經費補助民間職訓機構辦理公費職訓（Gasskov, 2000: 9）。 本研究分析「職業訓練法」與「就業服務法」之立法目的，以及「彌補轄區訓練不 足之委外訓練」、「資訊軟體人才培訓」、「新興重點產業科技人才培訓」、「補 助地方政府辦理訓練」、「補助民間機構及公會團體辦理訓練」、「職業訓練券計 畫」等六大現行方案目標，歸納出政府辦理公共職業訓練的主要政策目標應包括： （一）保障受訓者基本生活：確保受訓者於接受職業訓練期間，仍能維持基本生活 無虞。 （二）提高國民工作技能：藉由職業訓練的實施，提高受訓者工作技能，增強其結 訓後謀職的競爭力。 （三）促進國民就業：透過公共職業訓練的輔助，降低國民失業率，進而減少國家 社會對失業者的社福負擔。 值得注意的是，在這些目標之上還應有一個共通的後設標準，即公正性 （equity）。公正性對職業訓練而言，主要是指政府應為維繫職業訓練能被公平地 接觸，使低所得者及弱勢族群，亦能公平地接觸到與訓練相關之財務、市場資訊以 及設施等資源（Gasskov, 2000）。綜合而言，為協助失業者獲得一技之長以重返工 作職場，藉由政府挹注資源辦理職業訓練已是我國當前的政策方針，然而在公正性 的考量下，政府必須進一步協助社會弱勢者參與職業訓練，故如何同時兼顧經濟性 （就業）與社會性（福利）需求，就成為當前公共職業訓練必須面對的挑戰。. 二、輸入評估（I） 職訓局為提供企業與民眾更多元之職業訓練需求，近年來除賡續擴大辦理所屬 訓練機構自辦職前（養成）訓練外，還積極開發民間訓練資源，以委託或補助等方 式，鼓勵民間資源投入職業訓練產業，藉以增加訓練容量及提高訓練供需的配合 度。依據現行政府委託民間辦理公共職業訓練之六大方案之規劃，「彌補轄區訓練 不足之委外訓練」、「資訊軟體人才培訓」、「新興重點產業科技人才培訓」等方 案屬透過簽約委託民間方式辦訓。而「補助地方政府辦理訓練」、「補助民間機構 及公會團體辦理訓練」等方案則屬於以公共資源補助民間方式辦訓。至於「職業訓 練券計畫」方案，則屬於透過對特定對象發放抵用券的方式辦訓。依據民營化的相. ‧43‧.
(12) ‧公共行政學報‧. 第三十期. 民98年3月. 關學理，政府欲有效管理簽約外包、直接補助與發放抵用券等三種政策工具所需的 管理技能，應各有不同，並未可一概論之。惟分析各方案之目的，作者則歸納出下 列共通之處（鄭錫鍇，2007）： （一）增加訓練容量：受限於公共職業訓練機構的人力與機具，使每年開出的班次 有限，若是熱門的職類課程，更是時常僧多粥少，政府將本身容量不夠的訓 練職類委託民間辦理，可增加受訓人數需求。 （二）增加因應環境變遷的彈性：隨著產業結構與經濟情勢的變動，民間企業對於 人才的需求常常改變，惟政府所屬之公立職業訓練機構受限於預算、人力與 設備，往往無法立即配合開班。反之，民間職訓機構則可以較有彈性，在決 策程序較短的情況下，開班效率可望比公部門來得高。 （三）增加受訓者的選擇：政府將職業訓練委託民間辦理，受訓者除可選擇公共職 業訓練機構提供的訓練之外，若認為民間職訓機構的課程較適合自己，也可 選擇在民間職訓機構受訓，以提高民眾接受職訓的意願，並進一步挖掘出 「隱性」的受訓者，吸引原來無法在公共職業訓練機構的受訓者就近參加民 間職訓機構提供的職訓。 （四）補政府資源之不足：政府委託民間辦理職業訓練，可借重民間職訓機構的資 源，補充政府自辦公共職業訓練之師資及設備的不足。 （五）引介市場機制提高效率：政府所屬公共職業訓練機構，因缺乏競爭故較缺乏 成本效益概念。相較之下，民間職訓機構在營利的誘因驅使下，可望有創新 的動機來降低成本。 綜合焦點團體會議之專家建議及職訓局現行評估架構，6 本研究在輸入評估部 分歸納出下列幾個主要的評估構面，分別是： （一）師資素質：著重評估職業訓練師的專業素養。 （二）訓練課程內容：著重評估承訓機構所提供的課程規劃，是否足以傳授特定職 業之核心職能。 （三）行政管理措施：著重評估承訓機構所具備的企業營運管理能力。 （四）行政配合程度：著重評估承訓機構配合委辦機關在資訊提供、財務報告及契 約管理等相關行政工作的配合程度。. 6. 本研究礙於篇幅限制，未能將焦點團體會議之過程充分于文中揭露，對於討論過程有興 趣的讀者，可另與筆者聯繫。. ‧44‧.
(13) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 三、過程評估（P） 依據職訓局「九十五年度職業訓練單位評鑑」計畫所示，該評鑑方案的重點在 於測量受職訓局暨相關單位委託辦理職業訓練之民間機構的辦訓能力、辦訓成效及 受訓學員滿意度，其評估重點恰符合 CIPP 模式之過程評估的意旨。從 CIPP 模式 的觀點而言，應將辦訓成效評估，改列於結果評估處理較為妥適。綜合本研究焦點 團體會議之專家建議及分析現行指標項目，歸納出二個過程評估的評估構面，分別 是： （一）參訓學員輔導：著重評估承訓機構是否對參加職業訓練學員提供適當的學習 輔導作為，如學員就業性向分析、課後學習輔導等。 （二）訓練實施品質：著重評估承訓機構在訓練實施過程中，是否有依據契約規定 實施訓練。. 四、結果評估（P） 我國自民國七十年代以後，政府委託民間辦理公共職業訓練的比例方逐漸上 升。不過，政府仍必須遵守禁止將業務完全委託之原則，7 禁止將業務核心部分委 託私部門辦理。具體而言，政府在將業務委外後，仍須負擔下列責任（江岷欽、林 鍾沂，2000）： （一）財政籌措的責任：政府須依據規劃擬定施政方針，再據以編列預算並通過立 法機構同意後，方能動支相關經費。 （二）業務監督的責任：政府在將公共職業訓練委託民間辦理後，必須監督受委託 之民間職訓機構契約履行之情況，以確保其能依據契約達成受委託之業務。 （三）績效成敗之責任：經前述的分析可知，政府委託民間辦理公共職業訓練，仍 負有達成多元公共使命的責任，故須能確保受委託者能切實履行受託業務。 因此，為達成公共使命，委託機關必須在民主課責機制的監督下，建立一套 評估民間辦理公共職業訓練的成效的課責制度，以作為受委託職業訓練機構 的訓練績效與職業訓練計畫持續、修正終止辦理的參考。 7. 行政主體不能透過委託方式將自己之職權完全卸下，公法人所承擔之公共服務任務不得 全部委託私人，因其一方面造成預算與人員之浪費，另一方面公法人將完全無法對於該 公共服務進行監督（陳雅憶，2004：39）。舉例而言，民政機關有關出生、死亡、命 名、改名、戶籍及選舉業務皆因其本質而不得委託私人。 ‧45‧.
(14) ‧公共行政學報‧. 第三十期. 民98年3月. 本研究綜合焦點團體會議之專家建議，歸納出二個結果評估的構面，分別是： （一）學員就業情形：著重評估學員結訓後成功就業的比率及雇主對結訓學員之工 作表現滿意度。 （二）職業訓練成效：著重對特定民間承訓機構辦理職業訓練的成本效益分析。 經由前述的分析，筆者整理 CIPP 評估模式與政府委託民間辦理公共職業訓練 方案關係如圖二。圖中作者依據我國「職業訓練法」等相關法令之意旨及背景評估 的相關論述，將本訓練方案的核心價值，假定為政府辦理公共職業訓練的使命--「提升國民工作技能、平衡勞動市場供需、促進國民充分就業」。在此核心價值的 指引下，運用 CIPP 模式概念，發展出四個評估焦點，分別是職業訓練目標、職業 訓練方案、職業訓練行動與職業訓練成果。圖中所示的雙箭頭代表評估焦點與評估 模式間具有相互的調節關係。至於背景評估與其他評估間，係存有相互參照、比對 的關係，亦即目標達成度是評估測量的基準，而測量結果則是檢視目標達成與否的 依據。最後，CIPP 模式也建議評估者使用委外評估來鼓勵與支持受評估的對象， 以學習評估的概念與方法，並引進或強化執行與使用評估的制度能量（institutional capacity）（Stufflebeam, 2003: 12）。因此，現行職訓局將績效評估工作委託民間 辦理之作法尚符合學理規範。 提升國民工作技能、平衡勞動市場供需、促進國民充分就業. 核心價值. 職業訓練目標. 評估焦點. 職業訓練計畫. 投入評估. 職業訓練成果. 過程評估. 結果評估. 回饋. 圖二 CIPP 評估模式與政府委託民間辦理公共職業訓練方案關係 資料來源：本研究整理。 ‧46‧. 職業訓練成效. 學員就業情形. 訓練實施品質. 參訓學員輔導. 行政配合程度. 行政管理措施. 訓練課程內容. 訓練師專業素質. 促進國民就業. 提高國民工作技能. 評估構面. 保障受訓者基本生活. 背景評估. 職業訓練行動.
(15) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 值得注意的是，Stufflebeam 指出即便外部的、委外的評估能支持評估的結 果，他們仍不足以滿足組織對評估的持續要求，例如告知決策、維繫責任與促進制 度的學習等（Stufflebeam, 2003）。但由於政策工具的選擇難以全然是政治中立 的，因此政治因素與政治的動態會影響最初的政策工具選擇，也會影響最後政策的 執行（Peters, 2002: 552）。換言之，評估政策的結果若沒有同時考量採用的手段和 欲達成的目的，以及政治選擇所可能達成的結果，將會形成一個不完美的政策決策 （Peters, 2002）。因此，作者認為對職業訓練的背景評估，正是此一政治性的判 斷，屬於相關政策利害關係者的政治協調結果，故不宜委外處理。誠如前述，本研 究在缺乏政策決策者參與的情況下，並無法進一步發展與政策績效目標有關之評估 指標，而僅能著重在評估委外承訓機構執行契約的相關指標的發展，這也是本研究 未能克服的主要限制。. 伍、公共職業訓練績效評估指標之發展 一、績效評估指標之選擇 Posavac 與 Carey 認為關於績效評估指標的選擇，應考量以下幾個重點（羅國 英、張紉 譯，2007：64-69）： （一）能反映方案意圖的成效指標：計畫目標是否明確以及該指標是否能確實回應 方案意圖，會影響指標的解釋力。 （二）能反映方案工作者的努力：如果方案成功與否的判斷是建立在工作者無能為 力的指標上，評估就會遭到工作者的反彈。 （三）能被穩定測量：服務方案的評估者所想測量的變數，在本質上雖不如物理變 數般穩定，但仍必須儘可能地尋求測量的穩定度。 （四）讓方案關係人參與決定：特定評估計畫所選定的指標是評估者極重要關係人 密切商談後的決定。如果不能取得方案關係人的同意，即使指標是適當的， 恐怕也不能達到評估的目的。 因此，在前述重點指引下，筆者參採職訓局九十五年度公共職業訓練委外評鑑 指標及 Gasskov（2000）就國際勞工組織經驗所建議的指標，經焦點團體座談建議 及篩選後，再藉由 AHP 法安排評估指標權重排序。礙於篇幅，茲將各指標取得方 式整理如表一，詳細評估指標的內涵則請讀者自行參閱附錄。. ‧47‧.
(16) ‧公共行政學報‧. 第三十期. 民98年3月. 表一 職業訓練評估指標來源一覽表 內容來源 國際勞工組織經驗 指標項目 師資資格條件 師資遴選機制 師資異動比率 師資淘汰機制 課程設計品質 訓練實施情形 訓練設施設備 訓練輔導措施 課程創新程度 招生宣導程度 教務管理措施 學員申訴制度 學員就業輔導情形 學員就業機會調查 ◎ 管理作為創新程度 經費運用與核銷 職業訓練業務資訊管理系統（TIMS） 登錄 招訓率 ◎ 完訓率 ◎ 弱勢民眾參加職訓課程之比率 ◎ 一般民眾參加職訓課程之比率 ◎ 學員學費收入占總訓練預算之比率 ◎ 持有證照率或訓練通過率 ◎ 期末競技通過率 教師課程投入時數 ◎ 結訓學員滿意度 ◎ 雇主滿意度 ◎ 原訂訓練目標達成度 ◎ 一般學員就業率 ◎ 弱勢學員就業率 ◎ 無就業意願者比率 ◎ 無給在家工作者比率 ◎ 已就業結訓學員平均所得 ◎ 結訓學員受訓前後所得比 ◎ 每位結訓者政府平均支出與每位結訓 ◎ 者平均每月所得比 註：◎表示該項指標的出處或修正依據。 資料來源：本研究整理。. ‧48‧. 現行制度. 焦點團體座談. ◎ ◎ ◎ ◎ ◎ ◎. ◎ ◎ ◎ ◎ ◎. ◎ ◎ ◎ ◎ ◎. ◎ ◎ ◎. ◎ ◎. ◎ ◎. ◎ ◎. ◎ ◎. ◎ ◎ ◎ ◎.
(17) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 二、AHP 問卷分析 為彙集學者專家對績效評估指標權重的決策意見，作者運用 AHP 分析受訪者 看法的一致性，以及訂定指標的相關權重。採用 AHP 的主要目的，在減輕決策者 思考上的負擔，俾更清晰地呈現決策因素的相對重要性。但為確保決策層級結構的 穩定度，作者以群體決策分析軟體（Expert Choice），輔助檢驗專家學者的評比信 度和整體決策層級結構的一致性指標。 筆者邀請政府機關代表（2 名）、民間承訓機構代表（4 名）、大學教授職業 訓練、人力資源管理及企業管理等領域學者（4 名）以及受政府委辦辦理績效評鑑 人員（2 名）等 12 名專家學者填寫問卷，並在期限內成功回收 9 份問卷（政府代 表 2 名及學者 1 名未能回收）。首先，在信度檢定部分，根據 Saaty（1980）建 議，各評估指標的評量不一致性比率必須小於 0.1，否則應予以剔除。筆者先對 9 份成功回收樣本逐一進行信度檢測，去除一份未達到 0.1 一致性標準之樣本，有效 樣本為 8 份，總體不一致率為 0.03，故在信度上已足以作進一步的推論和分析。其 次在內容效度部分，因所有指標係綜合整理自歐陸職業訓練評估案例、現行評估指 標與學者專家意見，複經前述學者專家組成之焦點團體座談，釐清指標定義與增 加、修改相關指標。因而從原先蒐集的 45 個指標中萃取出 35 個較重要指標，故本 問卷所列舉之指標項目，已具研究方法論上的內容建構效度。 總體而言，作者透過 AHP 分析各學者專家問卷，並藉由軟體輔助，以嚴謹的 兩兩比對驗證與統計過程，建構出具理論信度與內容建構效度之各評估指標的權 重。透過綜合運算將運算結果以四捨五入取至小數點第二位，8 彙整成「政府委託 民間辦理公共職業訓練績效評估指標權重彙整表」（如表二）。為顯示評估指標的 個別權重，作者再依據評估指標權重排序，整理成「政府委託民間辦理公共職業訓 練績效評估指標暨權重一覽表」（如表三）。. 8. 由於計算之數值係經四捨五入取至小數點第二位，因此所有權重數值加總＝1.098> 1。 本研究建議可針對權重排序較後者，進行權重數值微調使權重數值加總＝1，以利實務應 用。 ‧49‧.
(18) ‧公共行政學報‧. 第三十期. 民98年3月. 表二 政府委託民間辦理公共職業訓練績效評估指標權重彙整表 評估構面. 全體權重構面排序. 訓練師專業素養. 0.77. 1. 訓練課程內容. 0.044. 6. 行政管理措施. 0.023. 7. 行政配合程度. 0.015. 8. 參訓學員輔導. 0.118. 4. 訓練實施品質. 0.174. 3. 學員就業情形. 0.440. 2. 職業訓練成效. 0.109. 5. Inconsistency=0.03 資料來源：本研究整理。. ‧50‧. 評估指標 所屬構面權重全體權重指標排序 師資資格條件 0.263 0.020 16 師資遴選機制 0.369 0.028 13 師資異動比率 0.111 0.009 25 師資淘汰機制 0.257 0.020 17 課程設計品質 0.263 0.11 20 訓練實施情形 0.205 0.009 26 訓練設施設備 0.231 0.010 22 訓練輔導措施 0.140 0.006 28 課程創新程度 0.161 0.007 27 招生宣導程度 0.195 0.005 30 教務管理措施 0.120 0.003 33 學員申訴制度 0.133 0.003 34 學員就業輔導情形 0.266 0.006 29 學員就業機會調查 0.171 0.004 32 管理作為創新程度 0.115 0.003 35 經費運用與核銷 0.676 0.010 23 職業訓練業務資訊管理系統 0.324 0.005 31 （TIMS）登錄 招訓率 0.344 0.040 6 完訓率 0.266 0.031 10 弱勢民眾參加職訓課程之比率 0.130 0.015 19 一般民眾參加職訓課程之比率 0.176 0.021 15 學員學費收入占總訓練預算之 0.084 0.010 24 比率 持有證照率或訓練通過率 0.166 0.029 12 期末競技通過率 0.098 0.017 18 教師課程投入時數 0.061 0.011 21 結訓學員滿意度 0.197 0.034 9 雇主滿意度 0.253 0.044 5 原訂訓練目標達成度 0.225 0.039 7 一般學員就業率 0.477 0.210 1 弱勢學員就業率 0.348 0.153 2 無就業意願者比率 0.070 0.031 11 無給在家工作者比率 0.105 0.046 3 已就業結訓學員平均所得 0.255 0.028 14 結訓學員受訓前後所得比 0.421 0.046 4 每位結訓者政府平均支出與每 0.324 0.035 8 位結訓者平均每月所得比.
(19) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 表三 政府委託民間辦理公共職業訓練績效評估指標暨權重一覽表 指標內容. 全體權重 排序. 指標內容. 全體權重 排序. 一般學員就業率. 0.21. 1. 期末競技通過率. 0.017. 19. 弱勢學員就業率. 0.153. 2. 弱勢民眾參加職訓課程之比率. 0.015. 20. 課程設計品質. 0.11. 3. 教師課程投入時數. 0.011. 21. 結訓學員受訓前後所得比. 0.046. 4. 學員學費收入占總訓練預算之 比率. 0.01. 22. 無給在家工作者比率. 0.046. 5. 經費運用與核銷. 0.01. 23. 雇主滿意度. 0.044. 6. 訓練設施設備. 0.01. 24. 招訓率. 0.04. 7. 訓練實施情形. 0.009. 25. 原訂訓練目標達成度. 0.039. 8. 師資異動比率. 0.009. 26. 每位結訓者政府平均支出與 每位結訓者平均每月所得比. 0.035. 9. 課程創新程度. 0.007. 27. 結訓學員滿意度. 0.034. 10 學員就業輔導情形. 0.006. 28. 無就業意願者比率. 0.031. 11 訓練輔導措施. 0.006. 29. 完訓率. 0.031. 12. 0.005. 30. 持有證照率或訓練通過率. 0.029. 13 招生宣導程度. 0.005. 31. 師資遴選機制. 0.028. 14 學員就業機會調查. 0.004. 32. 已就業結訓學員平均所得. 0.028. 15 學員申訴制度. 0.003. 33. 一般民眾參加職訓課程之比率. 0.021. 16 管理作為創新程度. 0.003. 34. 師資資格條件. 0.02. 17 教務管理措施. 0.003. 35. 師資淘汰機制. 0.02. 18. 職業訓練業務資訊管理系統 （TIMS）登錄. 資料來源：本研究整理。. 三、績效評估指標應用方式 CIPP 模式要求評估者必須依據精確、適當、可行性，以及具有效用之測量方 法進行評估（Stufflebeam, 2003: 11）。因此，在取得各指標配分權重之後，作者建 議可採下列應用方式來滿足 CIPP 模式的評估要求： （一）設計指標評分方式：作者依據指標之內容及特性，將指標測量尺度設計等距 尺度與次序尺度以上，其中次序尺度建議以 Likert 量表設計。另外，為進一 步探究「課程創新方式」及「管理作為創新程度」等兩項指標的質化內容， 建議此兩項指標應輔以開放性問卷供評審委員填寫評審意見。筆者將各評估 指標之最低測量尺度建議整理如下表四：. ‧51‧.
(20) ‧公共行政學報‧. 第三十期. 民98年3月. 表四 各評估指標測量尺度一覽表 指標內容. 測量尺度. 指標內容. 測量尺度. 一般學員就業率. 等距. 期末競技通過率. 等距. 弱勢學員就業率. 等距. 弱勢民眾參加職訓課程之比率. 等距. 課程設計品質. 次序. 教師課程投入時數. 等距. 結訓學員受訓前後所得比. 等距. 學員學費收入占總訓練預算之 比率. 等距. 無給在家工作者比率. 等距. 經費運用與核銷. 次序. 雇主滿意度. 次序. 訓練設施設備. 次序. 招訓率. 等距. 訓練實施情形. 次序. 原訂訓練目標達成度. 次序. 師資異動比率. 等距. 每位結訓者政府平均支出與每 位結訓者平均每月所得比. 等距. 課程創新程度. 次序. 結訓學員滿意度. 次序. 學員就業輔導情形. 次序. 無就業意願者比率. 等距. 訓練輔導措施. 次序. 完訓率. 等距. 職業訓練業務資訊管理系統 （TIMS）登錄. 次序. 持有證照率或訓練通過率. 等距. 招生宣導程度. 次序. 師資遴選機制. 次序. 學員就業機會調查. 次序. 已就業結訓學員平均所得. 等距. 學員申訴制度. 次序. 一般民眾參加職訓課程之比率. 等距. 管理作為創新程度. 次序. 師資資格條件. 次序. 教務管理措施. 次序. 師資淘汰機制. 次序. 資料來源：本研究整理。. （二）設計評鑑結果配分方式：首先，各指標因測量單位不同，故需進行分數標準 化的動作。其次，將各指標標準化分數乘以所佔權重（即表三所列之全體權 重部分）即為該指標之得分。最後，加總各指標得分，即為受評機構之總得 分。值得注意的是，因專家建議未來評鑑仍以機構為受評單位為宜，故本研 究的分析單位為主要承訓單位的整體辦訓表現，而非個別課程的辦訓表現。 由於評估工作需委由眾多人員進行，故主要的測量誤差將來自各評鑑委員評 分標準的差異性，建議未來可透過專家兩兩評鑑、同類同組評鑑、加強專家 評鑑專業素養之提升等方面，來降低測量誤差，提高評鑑的信度。 （三）持續發展指標：完整的社會科學測量應包括有幾項步驟，分別是觀察、猜測 （conjectures）、測試、修正、發展更一般性的原則來說明證據以及指引隨 ‧52‧.
(21) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 後的猜測與測試（Anderson et al., 1983: 235）。受研究限制影響，本研究僅 進行至測量的猜測階段，未來還需經過實際測量程序之後，才能進一步評估 各項指標的鑑別力而進行修正。 （四）指標之計算及說明：由於 AHP 假定為資料關係為線性模式，使各決策因素 必須符合偏好獨立（preference independence）的條件，故以此方法發展出之 指標系統的評估分數計算，可採用下列的步驟： 1. 評估分數之計算式：. M. Zj . X. i. N. , i=（1,2,… … ,N）. X kj X j Sj. [公式一：指標平均分數]. , k=（1,2,… … , N1 ）; j=（1,2,… … N 2 ） [公式二：指標標準分數]. Pk Z j j , k=（1,2,… … , N1 ）; j=（1,2,… … N 2 ）. [公式三：總評估分數]. 2. 公式使用說明 (1) 取得同一指標之平均得分：若該指標由不同評估者評分，則取得平均 數，即 M . X. i. N. , M 表「指標平均分數」， X i 表示第 i 位評估者指. 標分數（i=1,2,… … ,N），N 表示評估者總人數。 (2) 將指標得分轉為指標標準分數：將各評估指標分數，分別予以標準 化，得 Z j . X kj X j Sj. ， Z j 表第 j 指標的標準化分數； X kj 表在第 k. 個受評機構之第 j 個指標分數； X j 表第 j 個指標的平均數； S j 表第 j 個指標的標準差。（k=1,2,… … , N1 ; j=1,2,… … N 2 ）。 (3) 計算總得分：將指標標準分數乘以全體權重後加總，即得出該受評機 構之最後績效分數。得 Pk . Z j. j. ， Pk 表第 k 個受評機構之最後績. 效分數； j 表第 j 個指標的全體權重（k=1,2,… … , N1 ; j=1,2,… …. N 2 ）。 (4) 比較各受評機構之總得分，並依據最後績效分數高低予以排序。. ‧53‧.
(22) ‧公共行政學報‧. 第三十期. 民98年3月. 陸、結論 決策者常會認為間接政府（indirect government）是一個自我執行的系統（selfexecuting system），並誤以為藉由市場機制即可產生高品質的服務。然而，民間部 門的委外經驗告訴我們，委外需有貼近的管理與仔細的監督，而這些經驗對政府部 門而言也同樣適用（Kettle, 2002: 491）。藉由績效測量可以使管理者藉特定的指標 來測量績效成果與其服務或方案在特定基礎上的效能。因此，發展適當的績效評估 方式將會是有效管理間接政府的方法。不過，在導入績效評估指標時，我們必須注 意績效的測量存有下列三項限制（Hatry, 1999: 5-6）： （一）績效資料並不能自己說明為何會產生某些結果。換句話說，績效資料並不能 說明方案能達成測量結果的程度。 （二）某些成果並不能被直接的測量。以公共職業訓練方案為例，受訓者結訓後是 否能成功就業，有太多的因素是無法被直接測量發現的，例如：大環境景氣 的問題。 （三）由績效測量所提供的資訊僅佔管理者與民選官員決策所需資訊的一部份，而 不是全部。換句話說，績效測量並不能取代基本支出資料或政治的判斷的需 求，也不能取代普通常識或良善管理、領導力與創造力的需求。 所以，公共管理者為管理間接政府，除應儘量發掘貼近經驗現實的績效測量方 法之外，還需時刻提醒自己，績效測量所得之資訊，僅是成功管理之必要而非充分 的條件。 經由前述的分析我們可得知，職訓局委託民間辦理公共職業訓練績效評估方 式，有賴完整的理論架構以指引績效評估的工作，也必須建立更具效度的指標以確 實反應承訓機構的辦訓成果。更重要的是未來應加強「策略性規劃」（strategic planning）的觀念， 9 才能使政策目標、政策執行與政策結果未能產生反饋聯結， 協助規劃者有效掌握政策目標達成度資訊，避免執行單位因不清楚規劃單位的具體 政策目標而失去政策執行的方向感（鄭錫鍇，2007）。若以最簡潔角度定義公部門 的策略規劃，則意指「公共組織的重要政策目標之發展、連接、排序與溝通，以及. 9. 有關政府導入策略規劃的作法，有興趣的讀者可另行參閱 Bryson 與 Roering（1988）乙 文。. ‧54‧.
(23) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 將此些目標整合至公共組織的管理、預算及績效測量系統」（Henry, 2001: 313; Piotrowski & Rosenbloom, 2002: 650）。以美國「績效及成果法案」（The Government Performance and Results Act）為例，該法要求聯邦機關需辦理多年度的策略規 劃及年度的績效測量，並完成策略計畫（strategic plan）、績效計畫（performance plan）以及績效報告（performance report）等三項報告。職訓局公共職業訓練委外 績效評估，在缺乏明確績效目標的指引下，不僅讓背景評估面向下的評估指標無從 建立，更令人擔心政策目標與執行將產生失落的連結。因此，即便依據前述的評估 指標，而評選出的績優承訓機構，亦有可能因缺乏背景評估資訊的指引，而提高訓 練良好但成效卻不佳的風險。另外，本研究部分指標係源自職訓局長期以來為行政 作業需要而訂立之指標，缺乏與訓練成果連結的適當論述，如「職業訓練業務資訊 管理系統（TIMS）登錄」。惟考量一套指標系統需同時兼顧理論與實務需求方能 有效推動，故採用漸進方式調整應是較具可行性的方式。 筆者透過 CIPP 模式及多元研究方法的運用，逐步呈現評估構面、評估指標的 發展過程，雖已能對職訓局公共職業訓練委外績效評估指標的建立提供詳細、完整 的操作範例。但關於公共職業訓練方案目標及方案目標達成程度的問題，則仍須持 續的關注釐清，當然這亟需各政策利害關係者的配合方能達成。最後，我們必須小 心以結果為導向的公共管理可能潛藏的風險，亦即其在追求結果的行政過程中極容 易 因 而 忽 略 非 任 務 基 礎 的 （ nonmission-based ） 、 民 主 憲 政 的 （ democraticconstitutional）價值，而使這些價值受到貶抑，只是這種情況並無法在成本效益分 析與顧客回應性的名號下獲得解決（Piotrowski & Rosenbloom, 2002: 653）。因 此，作者建議未來除可參採本研究提出的指標架構，試行對民間承訓機構的績效評 估，以提高層級節制式官僚機構對是項方案的管理能力，且統整間接治理者的工作 動機與誘因外；另一方面還需積極透過民主的程序進行策略規劃，以確實將我國公 共職業訓練之使命價值，轉換成方案所追求的績效目標，俾調和對間接政府績效測 量需求及民主憲政價值維護的衝突。換言之，目前所欠缺的背景評估指標，將可藉 由導入策略規劃的作法加以補足。期待這樣的作法，至少能夠在公共職業訓練領 域，稍稍抒解我們對間接政府管理的憂慮吧。. ‧55‧.
(24) ‧公共行政學報‧. 第三十期. 民98年3月. 參考文獻 中華民國全國工業總會（2006）。「職業訓練單位績效評鑑」計畫期末成果執行報 告。行政院勞工委員會職業訓練局委外辦理執行報告，未出版。 江岷欽、林鍾沂（2000）。公共組織理論。台北：國立空中大學。 李季芳（2006）。95 年度職業訓練單位評鑑工作計畫簡報。行政院勞工委員會職 業訓練局工作計畫，未出版。 邱欣怡（2001）。我國職業訓練制度之研究—公共職訓委託民間辦理。國立政治大 學勞工研究所碩士論文，未出版，台北。 陳雅憶（2004）。論行政任務委託民間辦理—以法國公共服務委託契約為中心。國 立台北大學法律系碩士論文，未出版，台北。 黃敬峰（2004）。全球化下台灣失業問題與政府因應政策之研究。東海大學政治學 系碩士論文，未出版，台中。 張波鋒（1988）。職業訓練。台北：黎明文化事業股份有限公司。 衛民、許繼峰（2006）。勞資關係。台北：前程文化。 鄭錫鍇（2007）。現行職業訓練績效評鑑制度的檢討--以多元化績效指標之建構為 例。發表於台灣人力資源發展學術論壇，國家文官培訓所、中華民國訓練 協會主辦，台北。 鍾凱雯、陳立信、陳克琛（2004）。職業訓練對失業者就業幫助評估分析—以桃園 縣為例。發表於二○○四年國際學術研討會，銘傳大學主辦，台北。 簡禛富（2005）。決策分析與管理。台北：雙葉書廊。 羅國英、張紉（譯）（2007）。方案評估：方法及案例討論（E. J. Posavac, & R. G. Carey 原著）。台北：雙葉書廊。 Anderson, A., A. Basilevsky, & D. Hum (1983). Measurement: Theory and Techniques. In P. Rossi, J. Wright, & A. Anderson (Eds.), Handbook of Survey Research (pp. 244-251). New York: Academic Press. Bogdan, R. C., & S. K. Biklen (1998). Qualitative Research for Education: An Introduction to Theory and Methods (3rd ed.). Boston: Allyn & Bacon Press. Bryson, J. M., & W. D. Roering (1988). Initiation of Strategic Planning by Governments. Public Administration Review, 48(6): 995-1004. Felix, J. L. (1979). Research and Evaluation to Improve Instruction: The Cincinnati Strat‧56‧.
(25) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. egy. Educational Evaluation and Policy Analysis, 1(2): 57-62. Gasskov, V. (2000). Managing Vocational Training Systems: A Handbook for Senior Administrators. Geneva: International Labour Office. Hatry, H. P. (1999). Performance Measurement: Getting Results. Washington, D.C.: The Urban Institute Press. Henry, N. (2001). Public Administration and Public Affairs (8th ed.). Upper Saddle River, NJ: Prentice Hall. Kettl, D. F. (2002). Managing Indirect Government. In L. Salamon (Ed.), The Tools of Government: A Guide to the New Governance (pp. 490-510). New York: Oxford University Press. Loseby, P. H. (1992). Employment Security: Balancing Human and Economic Considerations. Westport, Connecticut: Quorum Books. Peters, B. G. (2002). The Politics of Tool Choice. In L. Salamon (Ed.), The Tools of Government: A Guide to the New Governance (pp. 552-564). New York: Oxford University Press. Piotrowski, S. J., & D. H. Rosenbloom (2002). Nonmission-Based Values in ResultsOriented Public Management: The Case of Freedom of Information. Public Administration Review, 62(6): 643-657. Saaty, T. L. (1980). The Analytic Hierarchy Process: Planning, Priority Setting, Resource Allocation. New York: McGraw-Hill. Salamon, L. M. (Ed.). (2002). The Tools of Government: A Guide to the New Governance. New York: Oxford University Press. Stufflebeam, D. L. (1969). Evaluation as Enlightenment for Decision-making. In H. B. Walcott (Ed.), Improving Educational Assessment and an Inventory of Measures of Affective Behavior (pp. 41-73). Washington, DC: Association for Supervision and Curriculum Development and National Education Association. Stufflebeam, D. L. (2002). CIPP Evaluation Model Checklist. Retrieved August 1, 2006, from http://www.wmich.edu/evalctr/checklists/cippchecklist.htm. Stufflebeam, D. L. (2003). The CIPP Model for Evaluation. Paper presented at the 2003 Annual Conference of the Oregon Program Evaluators Network (OPEN), Portland, Oregon, USA.. ‧57‧.
(26) ‧公共行政學報‧. 第三十期. 民98年3月. 附錄：公共職業訓練委外績效評估指標內容 一、就背景評估而言：包含有三個構面，分別是：保障受訓者基本生活、提高國民 工作技能、促進國民就業。鑑於實際政策目標的擬定，需要有政策決策者的參 與，在研究未能獲得決策者參與的情況下，本研究並無法再進一步發展各構面 下相對的評估指標。 二、就投入評估而言：包含有四個構面，17 個評估指標。 （一）訓練師專業素養： 1. 師資資格條件：主要用於評鑑實施職業訓練師的專業素養，如教學資 格、教學經驗、專業能力等。 2. 師資遴選機制：主要用於評鑑辦理職業訓練機構之師資遴選方式是否 依據合理的機制，依訓練需要擇定所需之適當師資。 3. 師資異動比率：主要用於評鑑職業訓練機構之訓練師資的流動率。 4. 師資淘汰機制：主要用於評鑑職業訓練機構對不適任之教師，是否有 合理的淘汰機制。 （二）訓練課程內容 1. 課程設計品質：主要用於評鑑職業訓練機構所設計之職業訓練課程， 是否能在符合某依職業的專業能力標準的情形下，透過合理之學習教 材、師資與適當的教學程序，滿足學員學習需求的情形。 2. 訓練實施情形：主要用於評鑑職業訓練機構，是否確實依據課程設計 辦理職業訓練工作。 3. 訓練設施設備：主要用於評鑑職業訓練機構，是否具有完善的教育訓 練設施設備與合乎衛生安全的訓練場所。 4. 訓練輔導措施：主要用於評鑑職業訓練機構，是否提供適切之訓練輔 導作為，以協助受訓者選擇適當之訓練課程與提升受訓者學習能力。 5. 課程創新程度：主要用於評鑑職業訓練機構，提供符合市場需求之新 興訓練職類的情形。 （三）行政管理措施 1. 招生宣導程度：主要用於評鑑職業訓練機構，吸引潛在職業訓練學員 與推廣職業訓練課程的能力。 ‧58‧.
(27) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 2. 教務管理措施：主要用於評鑑職業訓練機構的教務管理能力（包括學 員、教師出缺勤、平時測驗、上課日誌、證書發放作業等等）。 3. 學員申訴制度：主要用於評鑑職業訓練機構，是否提供適切的學員申 訴制度。 4. 學員就業輔導情形：用於評鑑職業訓練機構，輔導學員就業的的相關 制度與作為。 5. 學員就業機會調查：主要用於評鑑職業訓練機構，是否針對學員未來 就業機會實施妥適的就業機會調查。 6. 管理作為創新程度：主要用於評鑑職業訓練機構，是否透過創新管理 作為，具體提升訓練績效能力。 （四）行政配合程度 1. 經費運用與核銷：主要用於評鑑職業訓練機構，對受補助經費運用與 核銷的合理程度。 2. 職訓局職業訓練業務資訊管理系統（TIMS）登錄：為提高受評鑑單 位的透明度，職訓局特別發展出 TIMS 系統，做為職訓局與民間承訓 機構資訊交流平台，故將民間承訓機構配合登錄 TIMS 系統的情形， 列為評鑑指標之一。 三、就過程評估而言：包含有兩個評估構面，11 個評估指標。 （一）參訓學員輔導 1. 招訓率：主要用於評鑑職業訓練機構，預期招收學員數與實際受訓學 員數的比率。 2. 完訓率：主要用於評鑑職業訓練機構，總受訓學員數與訓練結業學員 數之比率。 3. 弱勢民眾參加職訓課程之比率：主要用於評鑑職業訓練機構，所有受 訓學員數與六大類身份學員數之比率。值得注意的是，依據就業服務 法第 24 條規定「主管機關對下列自願就業人員，應訂定計畫，致力 促進其就業，必要時，得發給相關津貼或補助金：(1)負擔家計婦 女、(2)中高齡者、(3)身心障礙者、(4)原住民、(5)生活扶助戶中有工 作能力者以及(6)其他經中央主管機關認為有必要者之受訓學員。本 項指標需與「一般民眾餐加值訓課程之比率」相互對照，以分析特定 職業訓練機構在訓練學員特性上的差異。. ‧59‧.
(28) ‧公共行政學報‧. 第三十期. 民98年3月. 4. 一般民眾參加職訓課程之比率：主要用於評鑑職業訓練機構，所有受 訓學員數與非六大類身份學員數之比率。 5. 學員學費收入占總訓練預算之比率：主要用於評鑑職業訓練機構，學 費總收入占總訓練經費之比率。 （二）訓練實施品質 1. 持有證照率或訓練通過率：主要用於評鑑職業訓練機構之所有結訓學 員數與持有特定證照或通過結訓測驗之學員數的比率。 2. 期末競技通過率：主要用於評鑑職業訓練機構之結訓者參與主管機關 主辦之技能競賽的合格比率。 3. 教師課程投入時數：主要用於評鑑職業訓練機構之教師教學時數占總 教學時數之比率。 4. 結訓學員滿意度：即調查職業訓練機構學員對訓練課程的滿意度。 5. 雇主滿意度：即調查職業訓練機構結訓學員就業三個月後，學員雇主 對該學員工作表現的滿意度。 6. 原訂訓練目標達成度：主要用於評鑑職業訓練機構之原訂職業訓練計 畫之目標的達成度。 四、就結果評估而言：包含有兩個評估構面，7 個評估指標。 （一）學員就業情形 1. 一般學員就業率：調查扣除無就業意願者後，非六大類身份學員於結 訓後三個月的就業率。 2. 弱勢學員就業率：調查扣除無就業意願者後，六大類身分學員於結訓 後三個月的就業率。 3. 無就業意願者比率：調查無就業意願結訓學員數占總結訓學員數之比 率。 4. 無給在家工作者比率：所謂無給在家工作者，係指付出工作勞動力， 卻未領取等價薪資所得者屬之，例如：家管婦女、協助經營家庭生意 卻未領取薪資者等。本項調查係用於調查無給在家工作結訓學員占總 結訓學員數之比率。 （二）職業訓練成效 1. 已就業結訓學員平均所得：調查已就業結訓學員之月平均所得。 2. 結訓學員受訓前後所得比：調查已就業結訓學員於受訓前後之月平均. ‧60‧.
(29) 公共職訓委外績效評估指標之研究：以行政院勞委會職訓局為例. 所得比率。 每位結訓者政府平均支出與每位結訓者平均每月所得比：調查政府對已就業結訓者 之月平均支出與已就業結訓者之月平均所得比率。. ‧61‧.
(30) ‧公共行政學報‧. 第三十期. 民98年3月. Performance Indicators for Outsourcing Public Vocational Training Programs: A Case of BEVT His-Kai Cheng, Zhou-Peng Liao* Abstract Public Vocational Training becomes a popular policy tool for assisting the government in handling unemployment problem in recent years. According to the tide of reinventing government, public managers try to use private resources for providing more competitive and efficient services. As this result, outsourcing public vocational training is brought into vogue by this reinventing reform. For responding the followed management challenges, the Bureau of Employment and Vocational Training (BEVT) contracted performance evaluation to private sector and hopes this can use more practical perspective to evaluate private vocational training centers’ performance. This study not only evaluates this outsourcing evaluation program of BEVT, but also uses multiple research methods to build up outsourcing public vocational training performance indicators. The author try to introduce some useful methodology based analysis procedure and methods, in order to provide some helpful suggestions for practitioners. Keywords: public vocational training, performance evaluation indicator, program evaluation, CIPP, outsourcing. *. His-Kai Cheng, Assistant professor, Department of Business Administration at St. John’s University. Zhou-Peng Liao, Ph.D. Candidate, Department of Public Administration at National Chengchi University.. ‧62‧.
(31)
Outline
