評估指標與方法

根據評估架構的設計，本計畫所採用的績效指標可以分為「流程面」與「產出面」。 其中，流程面是以「訓練課程設計」、「師資與教學方法」、「教材與設備」與「學習評量」

為主要構面；「產出面」則以「立即學習效果」、「學習運用效果」與「學習的價值與影響 效果」為主要構面。

基本上，本計畫的評估邏輯是參考Kirkpatrick 的四層次評估模式。該模式是將 訓練績效的評估分為「反應層次」、「學習層次」、「行為層次」、「結果層次」，其內容分 別為：

1.反應層次

指參訓學員對於整體訓練方案的看法，也就是訓練滿意度，包括訓練內容、訓 練師資、訓練設備、訓練教材、行政支援服務、訓練課程改進項目等。

2.學習層次

指參訓學員經過訓練而改變其態度、增進其知識或技術，也就是評估在訓練結 束後對於訓練課程的瞭解程度、知識獲取程度、工作態度改善程度等。

3.行為層次

目的在於評估參訓學員在接受訓訓練後，是否能夠將訓練學習的成果移轉到工 作上，並且對於其工作行為產生改變的程度，通常在訓練結束之後一段時間進 行評估。

4.結果層次

評估參訓學員在接受訓訓練後，對於組織能夠提供的具體貢獻，以探討訓練對 組織績效的影響效果，需比較訓練前後的相關績效資料得知。

本計畫的「流程面」指標即對應到上述「反應層次」，而「產出面」指標則是對應到

「學習層次」、「行為層次」與「結果層次」。然而，Kirkpatrick 的模式主要是針對企業辦 理員工教育訓練的績效評估，與「產業人才投資方案」所強調的勞工自主學習有所差 異，因此，本計畫除了將上述「行為層次」與「結果層次」的評估範圍不在侷限於原有

工作之外，並且在結果層次加列「提升學習意願」這項指標。。

茲就本計畫在各構面所採用的績效指標詳列如下：

訓練流程

1. 對訓練內容的滿意度 2. 對訓練方式的滿意度 3. 對師資的滿意度 4. 對器材設備的滿意度

5. 對訓練成績評量方式的滿意度 6. 對行政支援的滿意度

立即學習效果

1. 對訓練課程的專注程度 2. 對訓練內容的瞭解程度

3. 對工作知識與技能的提升程度 學習運用效果

1. 將學習結果運用在工作上的程度 2. 學習結果對取得職業證照的幫助程度 3. 將學習結果運用在日常生活的程度 學習的價值與影響效果

1. 參訓對改善工作績效的影響

2. 參訓對強化個人職場競爭力的影響

3. 參訓對幫助個人瞭解未來職涯發展方向的影響 4. 參訓對提高個人學習意願的影響

上列各項指標的選擇除參考國內外相關文獻外，也藉由個別訪談與召開座談會 方式，請教學者專家意見。此外，研究團隊也利用職訓局所舉辦的內部研習會，聽

取職訓局與各職訓中心同仁對這些評估指標與評估架構的修正意見。因此，應具有 一定水準的建構效度與專家效度。

在績效驅動因子方面，本研究在參考國內外文獻與專家意見，以及配合委託單 位的要求下，一共考量參訓者的動機與需求、訓練單位的屬性與品質、以及作業模式 等三個構面，每一構面所涵蓋的變數如下：

參訓者的動機與需求

1. 參訓者是否為自願參加？或是被公司推薦指派？

2. 參訓者的參訓目的

3. 參訓者選擇訓練課程之考量因素

國內外已有許多研究發現參訓者的動機與需求是影響訓練成效之關鍵因素，因 此，本研究特別將此構面納入分析，而關注的重點在於評析被公司指派推薦參加者 的訓練成效是否優於自願參加者，以及課程選擇著重於符合市場需求者，參訓成效 是否優於著重符合個人興趣、專長等其他因素之參訓者。本研究希望藉此分析結果來 檢視產業人才投資方案所強調的自主學習精神之適切性。此外，為了檢視政府補助 是否會使在職勞工將參訓視為純然的消費性福利，忽略其人力資本投資的價值，進 而降低訓練成效，本研究特別比較以使用政府提供的補助費用為動機者的訓練成效 與其他參訓者之間的差異。

訓練單位的屬性與品質

1. 訓練單位是屬於學校、訓練機構、公協會或工會？

2. 訓練單位 TTQS 的評鑑分數

本研究在此構面主要關注二個焦點，其一是勞工團體與工商團體所辦的訓練成 效是否低於其他屬性的訓練單位，其二是分析訓練單位TTQS 分數與訓練績效之關 連性。如前面所言，產業人才投資方案的承訓單位原本是以大專院校為主，後來才 逐漸開放其他屬性的訓練單位參與，而在開放過程中最引起爭議的就是勞工團體與 工商團體。雖然這類團體可以較能掌握勞工與企業雙方的需求，其辦訓能力與內部 行政稽核能力卻備受質疑，故本研究特別比較這類單位與其他屬性訓練單位之辦訓 績效。至於考量訓練單位TTQS 分數與訓練績效的關連性，主要是要檢討 TTQS 評

鑑制度的實施效果，而其背後邏輯是如果此項評鑑制度真能反映出訓練機構的品質，

則TTQS 分數愈高者，品質愈高，其辦訓的績效理應愈好。惟由於 TTQS 評鑑時間 先於訓練單位開班時間，二者之時間落差可能會影響TTQS 分數對訓練績效之解釋 能力。

作業模式

1. 參訓班次是企業專班或一般公開班？

在強調自主學習的產業人才投資方案中，應否開辦企業專班一直引起各界討論。

反對者認為企業專班是由企業主導，不僅有違參訓者自主學習的精神，也容易因政 府補助之使用權歸屬問題而引起勞資爭議。贊成者則認為企業較能掌握工作所需職 能，故由企業主導的訓練較能提升參訓者的工作知能，也較能運用在工作上。為瞭 解企業專班的訓練績效是否真的優於一般公開班，本研究特別將此變數納入分析。

惟在此必須強調，企業專班的訓練績效如果真的優於一般公開班，也不必然起因於 作業模式不同，而可能是因為前者參訓學員同質性較高，或者學習情境較佳，故學 習效果較一般公開班好。。

本方案的實施模式可以分為「一般公開班」與「企業專班」。雖然企業專班的訓練 對象大都屬相同企業，但職訓局補助對象仍是參訓勞工個人，表示其鼓勵的仍是勞 工的自主學習，故其評估機制裡應與一般公開班一致。惟在實際操作上，企業專班 的課程設計大都由企業主導，而企業往往是著眼於提升員工現有工作的職能與績效。

在這種情況下，本計畫對企業專班所採用的產出面績效指標將分為二種，一種還是 以參訓學員個人為評估標的，所採用的績效指標與所考量的績效驅動因子同上；另 一種則是以參訓學員所屬企業為評估標的，而所採用流程面的績效指標同上，但產 出面的指標則調整如下：

立即學習效果

2. 員工對訓練課程的專注程度 3. 員工對訓練內容的瞭解程度

4. 對員工工作知識與技能的提升程度 學習運用效果

1. 員工將學習結果運用於現職工作的程度 2. 員工將學習結果移轉給其他同仁的程度 學習的價值與影響效果

1. 參訓對改善員工工作績效的影響 2. 參訓對提升員工組織認同的影響 3. 參訓對提升員工工作滿意度的影響

4. 辦理企業專班訓練對提升企業組織績效的影響 5. 辦理企業專班訓練對提高企業人才培訓意願的影響

在績效驅動因子方面，以企業為評估標的時，因受到資料限制，將只考量企業 辦訓動機與目的。其中企業辦訓動機與目的採下列評估指標：

企業辦訓的動機與目的

1. 企業辦理此次訓練是因為要解決臨時性或特定性的問題？還是因為它是經 常性或常態性的訓練？

2. 企業是主動要辦理此次訓練？還是訓練單位建議辦理？

3. 企業辦理此次訓練最主要的目的是提升員工個人職能？還是改善企業組織 績效？

微觀成效評估所需各項指標的資料來源有二種，其一是透過本計畫進行之問卷 調查，其二則是利用職訓局提供之既有資料。這二種來源不同資料串連是利用個別 參訓學員的身份證字號，去勾稽其最近一次在「產業人才投資方案」參訓的訓練機構，

表4-1 所列即各項指標的資料來源。

本計畫進行的問卷調查分為二類，一類是針對參訓學員，另一類是針對專班辦 訓的企業。詳細的問卷內容分別列於附錄三。本計畫問卷調查原規劃採電訪方式，調 查對象分為參訓學員與專班辦訓之企業，後因專班企業之聯絡電話無法取得，改為 郵寄問卷，參訓學員部分則仍採電訪方式。在參訓學員部分，將以過去曾參加「產業 人才投資方案」補助訓練的學員名單為抽樣架構，按所屬各職訓中心進行分層隨機 抽樣，回收有效樣本數2231 份。為了避免受訪者發生記憶錯誤，而影響調查結果，

本計畫將以96 年度參訓學員為主要調查對象，若參訓學員在當年度參加訓練超過 一次，則以最近一次參訓為準。在對企業的調查方面，也是以曾參加「產業人才投資 方案」補助的全體282 家專班企業名單為郵寄對象，回收有效樣本數為 209 份。

本計畫採用的統計方法包括：

1. 敘述統計

以簡單的敘述統計量，例如平均值、標準差、次數分配等，說明調查樣本的 屬性，以及各項評估指標的實際評估結果。

2. 均值差異檢定

針對本研究所考量的績效驅動因子，將樣本分組，再以T 值檢定與變異數 分析方法，探討各項績效指標在不同組別之間的差異。

3. 相關分析

探討訓練單位TTQS 分數與訓練績效之間的關連性，以檢測 TTQS 評鑑制 度的有效性。

4. 迴歸分析

以線性複迴歸模型估計檢定各種績效驅動因子對訓練績效的影響。