評鑑的背景：評鑑目的、評鑑模式、評鑑規劃、評鑑人員 2

165

附 錄

附錄一 後設評鑑檢核表

資料來源：http://www.wmich.edu/evalctr/checklists

166

167

168

169

170

171

172

173

174

175

176

177

附錄二 訪談說明書

○○○：

您好！

學生為 國立師範大學工業科技教育所 人力資源組之碩士班二年級研究 生，由本所 李大偉教授的指導下，目前正在進行學位論文的撰寫。在此，誠摯 地請您協助。

本研究之主題為〝金融服務從業人員在職訓練成效評鑑之後設評鑑研究〞， 所謂的後設評鑑乃是針對「訓練成效評鑑方案」的評鑑。因此，本研究主要目的 為對貴公司的在職訓練評鑑方案進行評鑑。除貴公司外，本研究亦將訪問其他 2-3 家公司。依照訪談結果，除完成本研究案外，亦可提供貴公司未來發展與改 進在職訓練評鑑方案的參考。

研究方法為透過訪談，了解有關貴公司在職訓練成效評鑑方案的相關事項，

主要範圍依照CIPP 方案評鑑模式劃分為背景(Context)、投入(Input)、 過程 (Process)、產出(Product)四部份。其內涵有：

1. 評鑑的背景：評鑑目的、評鑑模式、評鑑規劃、評鑑人員 2. 評鑑的投入：評鑑表件、評鑑方式

3. 評鑑的過程：溝通協調、自評過程、評鑑過程 4. 評鑑的產出：評鑑報告、成果運用

本次訪談預計花費 30 分鐘的時間。本研究需要您的支持與協助，有關研究 之任何問題，請不吝指教。在此感謝您百忙之中撥空參與訪談。

謝謝！謹此

祝您 順心 工作愉快

台灣師範大學

工業科技教育所 人力資源組 學生 王婉亭 敬上

178

179

附錄三 訪談大綱

訪談問卷(評鑑規劃、執行人員)

壹、基本資料

訓練名稱：

受訪人： 訪談人：

性別： 年齡：

工作現職： 工作年資：

E-mail / 聯絡方式

貳、訪談內容

問卷內容分為四大部分，分別與您討論評鑑的背景、評鑑的投

入、評鑑的過程以及評鑑的結果。對於貴公司的訓練評鑑，請針對以 下問題談談您的看法：

180

評鑑的背景(Context)

1. 您是否認為教育訓練成效評鑑能替企業帶來效益?

是 =>您認為帶來什麼樣的效益?

□ 提供企業辦理教育訓練的建議

□ 切實品評訓練成效的優劣

□ 瞭解企業現況問題與困難

□ 督促改進企業教育訓練的辦理績 效

其他

否=>您覺得原因是什麼?

2. 您在規劃教育訓練成效評鑑方案時，如何擬訂評鑑的方案? (僅規 劃人員回答)

是 =>

□ 沿續過去的作法

□ 參考其他公司(單位)

□ 根據理論您自行設計

否=>請說明如何規劃評鑑方案?

3. 貴公司的教育訓練成效評鑑是否由特定單位、人員承辦?

是 =>考量的因素為何?(承辦資格…) 否=>如何決定承辦單位、人員?

4. 針對不同的受評人員是否使用一致的標準進行評鑑?

是 =>採用哪一種標準?

□ 效標參照(個人的表現與某個設 定的效標比較)

□ 常模參照(個人的表現與同團體 的他人比較)

□ 自我參照(與自己過去的表現作 比較)

否=>標準為何?如何設定不同的標準?

181

評鑑的投入(Input)

1. 評鑑中，是否使用評鑑表件?

是 =>

關於表件設計，您認為：

□ 切合企業評鑑目的

□ 適合評鑑模式

□ 質的資料蒐集

□ 量的資料蒐集

□ 兼顧質與量的資料蒐集

□ 切合資料性質編制評鑑表件

□ 使用上具便利性

□ 蒐集的資料能反應實際狀況與訓 練成效

□ 其他

2. 關於評鑑的範圍與項目，您認為是否適切?

是 =>

□ 項目敘述明確

□ 評鑑記分方式適切

□ 項目採加特殊標準適應不同人員 之差異

□ 其他

否=>請說明您認為不適切的原因?

3. 您認為目前的教育訓練成效評鑑的方式 (測驗、問卷…)是否能搜 集所需的資料?

是 => 否=>

182

評鑑的歷程(Process)

1. 貴公司教育訓練成效評鑑的程序為何? (僅執行人員回答)

□ 規劃、發展、獲得、分析、報告 □ 其他

2. 您對教育訓練成效評鑑程序的看法?(僅執行人員回答)

□ 具體且符合邏輯

□ 評鑑前，您清楚的知道評鑑目的、過程與標準

□ 評鑑前，您明確的瞭解評鑑結果的用途

□ 評鑑中，您擁有適切的執行評鑑之資訊與支援 □ 其他

3. 您認為貴公司的評鑑程序是否能搜集到有關受評人員的資訊?

是 =>

□ 必要的背景資訊

□ 真實狀況

□ 其他

否=>您覺得有什麼遺漏的地方?

4. 您認為評鑑的情境是否能鼓勵有關人員提供有關資料

是 => 否=>為什麼?您有什麼建議?

5. 對於執行評鑑時所花費的時間，您的看法為何?

□ 充裕

□ 能充分利用評鑑的時間 □ 其他

6. 您認為評鑑是否受到受評人員的重視?

是 =>

□ 受到受評人員的重視與高度配合

□ 其他

否=>您覺得為什麼不受重視?

7. 評鑑時是否能靈活運用規定的評鑑表格? (僅執行人員回答)

是 => 否=>在運用上有什麼不方便的地方?針

對評鑑表格的設計您有什麼建 議?

183

8. 評鑑時是否能運用適切方法蒐集相關的資料?

是 =>採用什麼方法?(自我評鑑、測 驗、績效考核…)

否=>

9. 蒐集到的相關資料，是否幫助評鑑結果，在分析時進行資料的交 叉檢核，以提高評鑑結果的正確性?

是 => 否=>

184

評鑑的產出(Product)

1. 評鑑結果是否由全部參與評鑑人員充分討論達成共識?

是 => 否=>如何處理評鑑的結果?

2. 評鑑報告將提供給什麼單位、人員參考?

□ 經理 / 主管 □ 董事會

□ 企業相關單位人員 □ 受評人員

□ 其他

3. 評鑑結果是否有效運用?

是 =>

□ 完善的評鑑報告回報制度

□ 解答評鑑的問題

□ 鑑別人員的優缺點

□ 說明資料分析要項與工具的使用 步驟

□ 適度考量人員的情境

□ 統合質與量的資料來解釋

□ 忠實反應資料分析結果

□ 避免不當的比較

□ 包含評鑑的發現與建議

□ 敘述清晰具可讀性

□ 指出問題解決的責任歸屬

□ 說明評鑑的限制

□ 公正客觀的報導評鑑的結果

□ 其他

4. 評鑑後，是否須提供檢討反省評鑑報告的機會?

是 => 否=>

185

訪談問卷(受評人員)

壹、基本資料

訓練名稱：

受訪人： 訪談人：

性別： 年齡：

工作現職： 工作年資：

E-mail / 聯絡方式

貳、訪談內容

問卷內容分為四大部分，分別與您討論評鑑的背景、評鑑的投入、

評鑑的過程以及評鑑的結果。對於貴公司的訓練評鑑，請針對以下問

題談談您的看法：

186

評鑑的背景(Context)

1. 您認為教育訓練成效評鑑方案是否替企業帶來效益?

是 =>您認為帶來什麼樣的效益?

□ 提供企業辦理教育訓練的建議

□ 切實品評訓練成效的優劣

□ 瞭解企業現況問題與困難

□ 督促改進企業教育訓練的辦理績 效

□ 其他

否=>您覺得原因是什麼?

2. 貴公司的教育訓練成效評鑑是否由特定單位、人員承辦?您認為 合適嗎?

合適 =>請簡單說明認為合適的原因。 不合適=>為什麼? 您的建議是什麼?

3. 針對不同的受評人員是否使用一致的標準進行評鑑?

是 =>您認為合適嗎? 為什麼? 否=> 您認為需要嗎? 為什麼?

187

評鑑的投入(Input)

1. 關於評鑑表件，您認為?

□ 切合企業評鑑目的

□ 使用上具便利性

□ 蒐集的資料能反應實際狀況與訓練成效 □ 其他

2. 關於評鑑的範圍與項目，您認為是否適切?

是 =>

□ 項目敘述明確

□ 評鑑記分方式適切

□ 記分加採特殊標準適應不同人員 之差異

□ 其他

否=>請說明您認為不適切的原因?

188

評鑑的歷程(Process)

1. 您接受評鑑的程序為何?

請說明

=>您對評鑑程序的看法?

□ 具體且符合邏輯

□ 執行評鑑人數足以負荷評鑑工作 □ 其他

2. 您對於自我評鑑的看法?(若評鑑程序中沒有「自我評鑑」請跳下 一題)

□ 時間充裕、適切

□ 能充分利用評鑑的時間

□ 參與程度極高

□ 能確實填表

□ 能運用團體討論、問題解決與其他有效方法確實實施 □ 其他

3. 您對執行評鑑人員的看法?

□ 對整個評鑑十分投入

□ 具有評鑑專業領域的素養

□ 人員的公正性獲得您的信任

□ 評鑑前能向您說明評鑑目的、過程 與標準

□ 評鑑前能向您明確界定評鑑結果 的用途

□ 評鑑前能激發您接受評鑑的意願

□ 評鑑前能明確指出您必須準備的 資料

□ 您獲得適切的資訊與支援

□ 其他

4. 您對於整體評鑑的看法?

□ 時間充裕

□ 依照預定的行程表實施評鑑

□ 評鑑能搜集您必要的背景資料

□ 評鑑能紀錄您的真實情況

□ 評鑑的情境能鼓勵您或相關人員 提供資料

□ 能靈活運用規定的評鑑表格

□ 運用適切的方法交叉檢核

□ 評鑑時，您有充分機會回答問題

□ 評鑑時，您獲得適度的尊重

□ 評鑑不影響您的正常工作 □ 其他

189

評鑑的產出(Product)

1. 您獲知評鑑報告的方式為何?

□ 書面通知

□ 內部公告

□ 績效考核

□ 其他 2. 您對於評鑑報告的看法?

□ 解答評鑑的問題

□ 鑑別您的優缺點

□ 評鑑報告能說明資料分析要項與 工具的使用步驟

□ 能適度考量您的情境

□ 能統合運用質與量的資料來解釋

□ 能忠實反應資料分析結果

□ 避免不當的比較

□ 包含評鑑的發現與建議

□ 敘述清晰具可讀性

□ 指出問題解決的責任歸屬

□ 說明評鑑的限制

□ 公正客觀的報導評鑑的結果

□ 其他 3. 您對於評鑑報告運用的看法?

□ 提供檢討反省評鑑報告的機會

□ 企業能依評鑑結果訂定政策制定 優先順序

□ 企業能依評鑑結果提供受評人員 必要的資源或協助

□ 您能依評鑑結果訂定改進目標與 實施方案

□ 能預防受到誤解與誤用

□ 能提供您相互觀摩的機會

□ 能注意評鑑結果利用正面的與負 面的作用

□ 提供您了解各項訓練成果

□ 其他

4. 依您所知，貴公司將如何運用評鑑報告?

□ 升遷的依據

□ 考評/加薪

□ 續聘

□ 再訓練的依據

190

191

附錄四 訪談逐字稿範例

D1-04- 23 最前面的話會先跟訓練的窗口，然後先去了接說他們為什麼需要 做這個教育訓練，換句話說先做analysis 的工作

D1-04- 24 然後這個地方我們就會去評估我們需要達到的像是績效標準、技 能標準整個專案的目的

D1-04- 25 接下來就會針對怎麼樣去達成目的去訂相關的標準，我們這個東 西就是KPI，就是我們所謂的評鑑指標

D1-04- 26 我們就開始進行施測，然後在施完測之後，像我剛剛提過的，最 後他們可能在整個過程之中施完測之後再加個訪談的部分，去瞭 解他們相關的感受，需要改進的地方

D1-04- 27 最後一步的話就是確認這相關的成效評鑑有沒有達到專案目 標。大概是這樣的一個circle

Q 貴公司教育訓練成效評鑑的程序為何?

A 我們最前面的話會先跟訓練的窗口，然後先去了接說他們為什麼需要做這 個教育訓練，換句話說先做analysis 的工作，然後這個地方我們就會去評 估我們需要達到的像是績效標準、技能標準整個專案的目的，等到這些東 西全部都釐清之後，接下來就會針對怎麼樣去達成目的去訂相關的標準，

我們這個東西就是 KPI，就是我們所謂的評鑑指標。接下來的話我們就開 始進行施測，然後在施完測之後，像我剛剛提過的，最後他們可能在整個 過程之中施完測之後再加個訪談的部分，去瞭解他們相關的感受，需要改 進的地方。最後一步的話就是確認這相關的成效評鑑有沒有達到專案目 標。大概是這樣的一個circle。

D1-04- 28 其實在整個評鑑程序之中，最重要的應該是在分析的那個部分，

主要是說分析這個部分比較牽扯到後端的指標是什麼、怎麼樣去 進行我們的教育訓練、甚至在最後決定我們到底有沒有達到專案 目標也是由這個地方來去做評鑑的，在分析這一段是非常的重要

Q 您對教育訓練成效評鑑程序的看法?

A 其實在整個評鑑程序之中，最重要的應該是在分析的那個部分，主要是說 分析這個部分比較牽扯到後端的指標是什麼、怎麼樣去進行我們的教育訓 練、甚至在最後決定我們到底有沒有達到專案目標也是由這個地方來去做

192 D1-04-29 如果說專案做分析來講的話，短的話至少要2 個禮拜，長的話說

不定要一個月

D1-04- 30 對，分析這個部分是很重要的

評鑑的，在分析這一段是非常的重要。我們這邊如果說專案做分析來講的 話，短的話至少要2 個禮拜，長的話說不定要一個月。如果說一個比較大 型像去年的個授新人訓這個部分，我們花很多的心力在做這一塊。

Q 所以說在分析這個階段你們是不是比較清楚評鑑的目的、過程、標準等是 什麼？

A 對，分析這個部分是很重要的。

D1-05- 31 這個部分的話，會跟他們講，但其實是比較少

D1-05- 32 我們比較著重的是整個專案的部分，比如說專案的目的是什麼？

究竟有沒有達到？學生這個地方會告知，也會讓他們參與整個過 程

D1-05- 33 但是至於說他們知道的程度，我們並沒有在做進一步的測量。

D1-05- 34 我們是會告知他這個東西就是為了讓我們進行相關的訓練的話 可以做的更好

D1-05- 35 對，知道這個目的在哪裡

Q 那在評鑑之前是否會向學生說明本次的評鑑目的、標準等相關的訊息嗎？

A 這個部分的話，會跟他們講，但其實是比較少，我們比較著重的是整個專 案的部分，比如說專案的目的是什麼？究竟有沒有達到？學生這個地方會 告知，也會讓他們參與整個過程，但是至於說他們知道的程度，我們並沒 有在做進一步的測量。

Q 他們會知道這個評鑑的用途嗎？

A 我們是會告知他這個東西就是為了讓我們進行相關的訓練的話可以做的更 好。

Q 所以大致上他們是瞭解的。

A 對，知道這個目的在哪裡。

193 D1-05- 36 會在問卷的最前面會有一些相關的個人資訊像是姓名、年齡，因

為是新人訓，就是他在進入我們企業的工作年資這些基礎的 background information。

Q 您認為這樣的評鑑程序是否能搜集到有關受評人員的資訊?

A 就前面來講的話，我們會在問卷的最前面會有一些相關的個人資訊像是姓 名、年齡，因為是新人訓，就是他在進入我們企業的工作年資這些基礎的 background information。

D1-05- 37 比較細部的技能的話，窗口會更瞭解，窗口會更瞭解他們的相關 背景、學歷這一類的資料，他們會比較有比較基礎的database

Q 會對學生能力相關的調查嗎？

A 就是像我剛剛提到的工作年資而已，至於說比較細部的技能的話，窗口會 更瞭解，窗口會更瞭解他們的相關背景、學歷這一類的資料，他們會比較 有比較基礎的database。

D1-05193- 381

大部分都是用比較open 的方式，就跟他們說大家可以盡量提出 意見，這樣對我們以後整個要去實施的話會是有幫助的

D1-05- 39 在這樣的情境塑造下，大部分願意留下資訊，尤其是在整體或其 他建議的部分，大家都寫了蠻多的意見。

Q 這樣的評鑑情境是否能鼓勵有關人員提供有關資料？

A 我們大部分都是用比較 open 的方式，就跟他們說大家可以盡量提出意見，

這樣對我們以後整個要去實施的話會是有幫助的，所以在這樣的情境塑造 下，大部分願意留下資訊，尤其是在整體或其他建議的部分，大家都寫了 蠻多的意見。