研究工具

本研究之量化研究根據前述之北美教育評鑑標準聯合委員會 1994 年版 之標準修改發展出「我國技術學院綜合評鑑調查問卷」做為研究工具，並採 Likert 五點量表，就作答認同度反應程度分為非常同意、同意、無意見、不 同意及非常不同意等五項，以瞭解目前技術學院受評人員與評鑑委員對於後 設評鑑認同程度；並以結構方程模式(SEM,Structural Equation Modeling)進行 驗證性因素分析，以及SPSS 統計軟體，施行描述性統計分析、獨立樣本 t 檢 定分析、交叉分析與單因子變異數分析。質化研究部分則依據訪談取樣之對 象，研擬訪談題綱，以蒐集專家看法，俾與量化研究結果綜合比較分析。

壹、「技術學院綜合評鑑問卷調查」量化研究工具

本研究在分析教育評鑑與後設評鑑之文獻及國內相關後設評鑑研究後，

採用北美教育評鑑標準聯合委員會 (JCSEE)「方案評鑑標準」的四個構面、

國內相關後設評鑑研究量表、研究者個人實地觀察技術學院評鑑過程、我國 技術學院評鑑辦理現況，編製「我國技術學院綜合評鑑調查問卷」之量表初 稿，並徵詢專家建議與意見後進行修改。

一、問卷內容

本研究問卷依據北美「教育評鑑標準聯合委員會」1994 年版之「方案評 鑑標準」，分效用性（Utility）、可行性（Feasibility）、適切性（Propriety）與 精確性（Accuracy）四個構面。

1.「效用性」構面根據上述「方案評鑑標準」效用性向度之定義，分為七

個向度，參酌我國技術學院評鑑現況，包含：(1)確認利害關係人、(2) 評鑑者具可信度、(3)評鑑項目與指標、(4)價值的確認、(5)清晰的評鑑 報告、(6)即時處理評鑑結果、(7)評鑑的影響等，著重在與評鑑執行單 位、受評學校、評鑑委員相關之目的、程序、指標、報告、及結果處 理與運用之效用。

2.「可行性」構面根據「方案評鑑標準」，分為三個向度，包含：(1)務實 的程序、(2)行政配合措施、(3)成本效益，著重在評鑑流程順利進行、

利益迴避規定、時間成本考量等之具體可行程度。

3.「適切性」構面根據「方案評鑑標準」，分為八個向度，包含：(1)服務 導向、(2) 正式的協議、(3) 受評者的權益、(4) 人性互動、(5) 完整和 公平的評鑑、(6) 結果的公布、(7) 利益衝突、(8) 評鑑報酬，著重在 評鑑執行過程中，規劃與執行單位對受評者、評鑑者及受評鑑影響的 人，能提供服務、重視權益、客觀評鑑、迴避利益等，其中「正式的 協議」向度乃因我國評鑑採公開招標採購，於評鑑前已完成簽約程序，

故予以刪除。

4.「精確性」構面分為十二個向度，包含：(1)書面記錄、(2)情境分析、

(3)有效處理資訊、(4)公平報導、(5)可靠的資訊來源、(6)有效的資訊、

(7)可信的資訊、(8)系統的資訊、(9)量化資料的分析、(10)質化資料的 分析、(11)目的與程序的描述、(12)後設評鑑，著重在書面、環境、資 訊、報告的精確性。本研究較「方案評鑑標準」減列八個向度，係考 量我國技術學院評鑑於事前已要求各校上網填報校務基本資料庫，並 由承辦單位將各校量化資料經過整理分析，併同各校自行提供之質化 資訊，分送評鑑委員，故將「可靠的資訊來源」、「有效的資訊」、「可 信的資訊」、「系統的資訊」、「量化資料的分析」、「質化資料的分析」

等整合成「有效處理資訊」，以符現況，另刪除「目的與程序的描述」、

「後設評鑑」，係因技術學院評鑑乃四年輪評之既定政策，且尚未推動 後設評鑑之故。

二、問卷研擬過程

本研究以問卷為研究工具，問卷研擬過程包括四個階段，如圖3-4-1 所示：

圖3-4-1 問卷研擬過程 資料來源：本研究製作 1.研究內涵初擬

本研究工具之建構主要依據北美「教育評鑑標準聯合委員會」1994 年版 之「方案評鑑標準」，分效用性（Utility）、可行性（Feasibility）、適切 性（Propriety）與精確性（Accuracy）四個構面、量表之向度與指標，

並參考國內相關後設評鑑研究問卷題項、及我國技術學院評鑑執行現況 研擬。

選擇北美教育評鑑標準聯合委員會訂定之方案評鑑標準的四大構面原 因如下：1.游家政與曾祥榕（2005）指出大部分學者認為該方案評鑑標 準較為完整，且每一向度均有明確定義；2.陳信翰（2007）認為四大類 別能代表清楚的概念與特色，方便進行結果解釋與分析；3.我國技專校 院評鑑一向以 CIPP 模式發展評鑑指標，95、96 年度技術學院評鑑指 標係沿用94 年修訂之科技大學評鑑指標，該項指標仍係以 CIPP 之背

研究內 涵初擬

問卷初 稿完成

專家意

見會診 問卷發放

景、輸入、過程、成果等面向發展而成。CIPP 模式為 Stufflebeam 等 人所提倡。嗣後 Stufflebeam（2001）指稱在方案及人員之後設評鑑標 準中，最常使用北美教育評鑑標準聯合委員會訂定之方案評鑑標準的 四大構面。

2. 問卷初稿完成

本研究決定問卷題目型式時，使用李克特氏五點量表(非常同意、同 意、普通、不同意、非常不同意)五點量表，讓填答者表達對問題的看 法，以「5」代表「非常同意」、「4」代表「同意」、「3」代表「普 通」、「2」代表「不同意」、「1」代表「非常不同意」。

3. 專家意見會診

本研究問卷初稿研擬完成後，首先商請教育部技術學院評鑑承辦人員 先行審閱後修正問卷初稿，修正之問卷再送請具評鑑經驗之學者再次 提供修正意見修改後完成。

4. 問卷發放

本研究調查對象分為「評鑑委員」、「受評學校」代表二部分，其問 卷發放分為問卷寄發、電話及 e-mail 催覆、問卷回收及資料整理。問 卷寄發對象為參與95、96 年度之評鑑委員、34 所受評學校之行政主管

（校長、副校長、三長）、系所主任、專任教師，分別寄發問卷 100 份、68 份、68 份、136 份，並給予二週之填答時間，於填答時限前三 天進行電話及e-mail 催覆。發出之問卷如附錄一。

三、問卷形式：

本問卷採用封閉式。採封閉式問卷的考量為：

1. 提供「已設計好」的作答選項以回答研究者想詢問的問題，而有助於 確保獲得所欲蒐集的資訊。

2. 答案已完成歸類，所得資訊易於分析。此外本問卷採匿名方式，讓填 答者無安全上的顧慮，並增加獲得正確資訊的可能性。

貳、「專家訪談」質化研究工具

為深入瞭解技術學院評鑑之相關政策背景、規劃理念、執行成效，本研 究以專家訪談進行資料蒐集，以強化問卷調查資料深度之不足。

本研究依據研究目的與文獻分析結果，配合問卷量表無法呈現質的面 向，針對規劃訪談對象，區隔訪談重點，研擬訪談題綱，並參酌專家意見進 行修正。

一、訪談內容

「專家訪談」訪談內容分為三大面向，分別為：1.評鑑目標達成與否；2.

評鑑公正客觀與否；3.評鑑相關議題。

評鑑相關議題針對訪談對象背景略作區隔，總計包含共同性議題：1.評鑑 能否達成確保教育品質（發現問題、積極改善、提升品質）的目標；2.評鑑是 否公正客觀，能反映學校辦學實況。個別性議題例舉如下：a.技術學院評鑑現 階段定位與未來發展；b.評鑑指標具引導功能，是否影響學校自主發展；c.

評鑑委員對技職教育的認知與心態；d.學校自評功能、部分學校邀請管理顧問 公司協助檢驗學校問題的看法；e.評鑑指標可否一體適用；f.實地訪評的時間 與程序是否恰當；g.評鑑委員的專業表現；h.評鑑成績之整體排比應否兼顧學

校資源、區位、學生程度等因素；i.評鑑成績的等第分佈是否合理，是否符合 社會期待；j.學校對評鑑成績是否接受，會否提出申覆；k.評鑑結果的公布與 運用，應否與行政措施結合；l.評鑑改進建議。

二、訪談題綱研擬過程

本研究訪談題綱研擬過程包括四個階段，如圖3-4-2 所示：

圖3-4-2 訪談內容研擬過程 資料來源：本研究製作

三、個別訪談

本研究採用個別訪談法，訪談參與95、96 年度技術學院規劃、執行、評 鑑及受評學校之相關人員，及對自我評鑑、技職評鑑、後設評鑑有深入研究 的學者。

訪談內 涵初擬

題綱初 稿完成

專家意

見會診 個別訪談