研究方法與取向

本節研究方法與取向有兩個部分，第一部分說明研究資料蒐集的架構，是以 Kirkpatrick（2006）的四層次教育訓練成效評估模式（four-level evaluation model）

為蒐集與呈現資料的架構；第二部分說明研究取向的選取，綜合質化與量化結果以 回應研究問題。

目前，高中職輔導教師之督導者多由校外專業心理人員擔任。在學校輔導工作 中，熟手輔導教師帶領新手雖為常見，但訓練熟手如何成為「專業熟手」、培訓高 中職輔導教師成為督導，尚屬學校輔導領域之新興議題。許維素（2012）以行動研 究方式，形成一焦點解決督導訓練方案，研究者為該國科會專題研究（高中職輔導 教師督導員訓練方案暨成效之相關研究---以焦點解決取向為基）之助理，於此訓練 方案中，經主持人與參與者同意蒐集非屬研究計畫之資料，進一步對「高中職輔導 教師督導員訓練方案」作成效評估。

本研究在性質上屬於訓練方案之成效評估研究，並以四層次教育訓練成效評 估模式（four-level evaluation model）呈現，欲瞭解參與者之課後反應（reaction）、 學習效果（learning）、實際行為（behavior）與訓練成果（results），評估層次越高，

花費的成本與蒐集資料的複雜度越高（如圖 3-1-1）。以下將說明此模式之內涵。

86

圖 3-1-1 四層次教育訓練成效評估模式 一、以 Kirkpatrick 四層次教育訓練成效評估模式為觀點

Donald L. Kirkpatrick 於 1959 年首度發表四層次教育訓練成效評估模式，其認 為訓練評估是一個複雜的概念，若能將其化為具邏輯性的步驟和分類，即可將抽象 的概念具體化為清楚明確的目標。因其簡單易懂並能符合機構所需，至今仍被認為 是最廣為運用、最受歡迎的評鑑模式（Kirkpatrick & Kirkpatrick, 2006）。在此模式 中，每一個層次都會影響到下一個層次的結果，四層次教育訓練成效評估模式能使 用系統性的方式評鑑各個向度，Kirkpatrick 與 Kirkpatrick 將每一層次需要蒐集的 資料、提問的問題都已羅列出來，降低倚賴測量工具的程度，也簡化了複雜的評估 過程。由於此模式相當重視第四層次—訓練成果（results），對於機構而言，訓練後 所產生的效益理當為其所重視的部分（Bates, 2004; Shelton & Alliger, 1993）。雖然 這個模式也受到一些批評，像是認為其過度簡化，並未考慮到個人的和環境脈絡對 於成效評估的影響（A. Bates, Holton III, Seyler, & Carvalho, 2000），但在實務運用 上，至今仍不減其受歡迎的程度。

美國訓練發展協會（American Society for Training & Development, ASTD）於 1998 年 5 月的全國人力資源報告（National Report on Human Resource）指出，許

87

多美國組織皆採用 Kirkpatrick 的四層次教育訓練成效評估模式。國內亦可見企業 界使用此模式評估員工教育訓練之成效，教育領域則將其用於師資培育教育與教 學輔導教師培訓方案之評估（林巧雲，2009；林伯安，2010）。雖然已有許多研究 運用此模式進行方案成效評估，但多未囊括四個層次，僅挑選其中幾個層次作為成 效評估之用。Kirkpatrick 與 Kirkpatrick（2006）亦鼓勵往後的研究能就四個層次進 行全面性的資料蒐集並進行成效評估。然而，若要含括四個層次，即需要不同的評 估方式，且在此模式中，成效的評估不只限於認知層面，同時也重視於場域中運用 所產生的效益，多元評量方式在此模式中頗具重要性（Bates, 2004; Newstrom, 1995）。 綜上所述，本研究欲以四個層次作為評估之架構，並以多元評量之方式進行資料蒐 集，以期瞭解本研究訓練方案成效。以下就四層次之定義與本研究資料蒐集之方式 說明之。

（一）課後反應（Reaction）

課後反應指受訓者對於訓練方案的滿意度，以瞭解受訓者在過程中是否覺得 被激勵或對學習感興趣，是受訓者對於整體訓練方案的主觀印象與知覺，故不僅是

「對於講師教學的評鑑（student evaluation of teaching）」，更擴及「對於課程與教學 等整體方案的評鑑（student evaluation of teaching and course）」。其目的有四：（1）

瞭解成員回饋以作為下次方案修正依據；（2）參與者對自己的上課狀況與滿意度能 有所認知；（3）能夠提供量化資料以顯示成效；以及（4）為協助講師瞭解參與者 之需要。

第一階段課後反應跟學習所得無關，只關乎喜好，Kirkpatrick（1979）表示可 設計表格讓喜好程度被表格化和量化。因此，本研究使用研究者自行設計的不記名 單元課後滿意度問卷，以瞭解參與者對於課程包含講師、設備、時間、場地、方案 等的滿意度，並以半結構式個別訪談深入瞭解參與者對於方案之反應。

Kirkpatrick（2006）認為較低層次的成果發生變化，才能衡量出較高層次的成 果，對整體課程的喜好程度低易導致學習動機不佳，若受訓者對訓練方案不甚滿意，

88

則會缺乏學習的動機與意願，當然也就難以在更高層次有所進展。Kornett（2004）

更透過實徵研究發現，參與者對方案的認同程度，會影響其信念，進而影響其是否 願意將所學運用於工作中的意願。故可知參與者的課後反應是一個具有成效的方 案之重要指標

（二）學習效果（Learning）

學習效果指受訓者因參與訓練方案所學到的知識、態度和技能，以及整體訓練 方案目標被達成的程度。在這個階段中無關乎實際場域的運用，故前、後測的評估 方式常在這個層次上被使用（Kirkpatrick, 1979）。本研究以課後焦點團體與半結構 式個別訪談瞭解受訓者之學習效果。並根據 Kirkpatrick（1979）之建議，以學習效 果自陳問卷以瞭解受訓者「知覺到所學習之知能」與「訓練方案之訓練目標」兩者 的相符程度。同時佐以學者徐西森（2003）所編製的諮商督導能力評量表，根據其 題目類型分為認知概念、情意態度、行為技巧三大項目，於方案訓練前、後進行前、

後測的比較。並配合準備度評估表前、後測的量化資料，呈現受訓者在準備度上的 變化。

（三）實際行為（Behavior）

實際行為指受訓者回到工作場域中實際的行為改變或所產生的學習遷移

（transfer of learning）。除了參與者的主觀知覺外，亦可採納主管、同儕的意見為 成效評估之依據。本研究中，在實際行為部分，資料來源為質化資料，綜合課後焦 點團體、半結構式個別訪談、追蹤焦點團體等結果，以瞭解參與者於方案訓練後實 際的行為改變及其學習遷移現象，探討參與者如何將所學運用於實務中。

（四）訓練成果（Results）

訓練成果指最後產生的結果、效益及對機構的影響，第三層次「實際行為」著 重於受訓者經訓練方案後產生的個人績效，而本層次「訓練成果」則著重評鑑受訓 者行為改變與學習遷移對其所屬組織所產生的成果。本研究中，在訓練成果部分，

資料來源為質化資料，以半結構式個別訪談與追蹤焦點團體為主，加上以受督者回

89

饋表瞭解受訓者對於受督者產生的效果為何，並綜合前三層次其他研究資料來源，

瞭解本研究方案對於學校組織所產生之訓練成果。

二、綜合質化與量化為研究取向

本研究就上述四層次，欲系統性地瞭解訓練方案之成效、蒐集參與者之學習經 驗與成果。在評鑑的專業發展上，傾向增加多樣的評估方式，結合量化與質化的評 估（Patton, 1987）。本研究為囊括深度與廣度，蒐集資料的工具包含質化與量化工 具，資料來源種類多元如下表 3-1-1。課後反應主要以量化資料為主、質化資料為 輔；而與學習效果、實際行為與訓練成果則以質化資料為主。

在課後反應層次，採 Kirkpatrick（1979）的建議，設計表格讓結果可被量化，

並以描述統計說明。在學習效果層次，主要之研究結果來自於質化資料，但仍根據 Kirkpatrick（1979）之建議，採前、後測取向蒐集學習效果與準備度的資料，並以 相依樣本 t 檢定考驗前、後測平均數之差異。而在實際行為與訓練成果兩層次，因 擴及受訪者課後的學習遷移及成效，需將工作場域等脈絡因素納入考慮，且欲瞭解 受訓者之個別經驗，故採質化研究取向。因質化評鑑能提供評鑑者較為深度和詳細 的資料（Patton, 1987），能深入瞭解學習後的行為遷移及所產生的效果。其中以焦 點團體訪談法（focus-group interview）與半結構式個別訪談法（semi-structured interview）為主。

在焦點團體訪談法部分，因參與者同為高中職輔導教師，彼此同質性高，故採 焦點團體法蒐集資料，以增進參與者彼此的交流與共振，一併產生集體建構知識的 效果（陳向明，2002），其與個別訪談最大的差異處在於焦點團體法多了團體成員 的互動（interaction）和討論（discussion），焦點團體主持人擔任中介者（moderator）

的角色，其所蒐集的資料是以團體間互動討論的內容為核心（胡幼慧，1996）。另，

為回應研究問題、瞭解個別受訪者對於接受方案訓練之經驗與成效，亦採個別訪談 法。期能系統性地瞭解受訪者主觀經驗中的訓練方案成果，同時鼓勵受訪者能加入 並參與訪談，故選擇以半結構式個別訪談進行，研究者於訪談前設計訪談大綱，但

90