第三章 研究設計與實施
第三節 研究工具
本研究工具為研究者自編之「大學訪評委員鑑知能需求及其研習規劃調查問 卷」。本問卷共分為三大部分：第一部分為「個人經驗資料」，第二部分為「大 學訪評鑑委員評鑑知能之重要性與俱備情況評定量表」，第三部分為「大學訪評 委員評鑑研習之課程與教學規劃意見」。
研究者經文獻探討後，編製成本問卷之初稿，待問卷初稿定稿後，邀請專家 學者進行問卷內容審查。依據專家意見，統計及整理問卷各題專家意見結果，修 改部分題目並與指導教授討論後，編製成正詴問卷。於下說明本問卷編製過程、
問卷內容、給分標準與填答方式、以及專家效度：
一、 問卷編製過程
問卷第一部分「個人經驗資料」係根據相關研究(背景變項部分)之文獻探討 結果，並考量本研究目的所設計而來。第二部分「大學訪評鑑委員評鑑知能之重 要性與具備情況評定量表」係根據文獻探討所歸納出的大學訪評鑑委員評鑑知能 內涵部分所設計而來。第三部分「大學訪評委員評鑑研習之課程與教學規劃意見」
亦參考文獻探討所歸納出的大學訪評鑑委員評鑑知能內涵部分，同時參考國外
「TEI 評鑑培訓課程」內容所綜合設計而來。
二、 問卷內容
問卷第一部分為「個人經驗資料」。在於瞭解填答者「現任職位、曾任大學 行政職位、參與大學評鑑及評鑑講習經驗」之背景資料。
問卷第二部分為「大學訪評委員評鑑知能之重要性與具備情況評定量表」。 此量表題目主要分為評鑑學理層面之知識與評鑑實務層面之知能兩部分。
（一） 評鑑學理層面知識：
評鑑學理層面之知識包括四大知識項目、以及十二個細項目。
1. 大學評鑑理論的基本概念
(1) 瞭解評鑑的意義與功能。
(2) 瞭解大學評鑑常用的評鑑模式及其運用方式。
(3) 瞭解評鑑理論的應用及限制。
2. 評鑑研究方法論
(1) 瞭解量化研究方法的設計概念。
(2) 暸解質性研究方法的設計概念。
(3) 瞭解評鑑方法設計的方法論基礎。
3. 高教政策環境知識
(1) 瞭解高教政策目標及其施行情況。
(2) 暸解高教政策制定的法律依據。
(3) 暸解高教政策目標與學校發展的關係。
4. 評鑑標準與原則
(1) 瞭解訪評內容的評鑑項目與指標。
(2) 暸解評鑑指標實際運用的原則。
(3) 暸解訪評倫理的遵守原則。
（二） 評鑑實務層面知能
評鑑實務層面知能包括四大知能項目，以及十七的細項目。
1. 資料蒐集
(1) 運用量化方法進行資料蒐集。
(2) 運用質性方法進行資料蒐集。
(3) 選擇適合的資料蒐集方法。
(4) 發展適切的資料蒐集工具。
2. 資料分析
(1) 依所需回答的問題進行質性詮釋與量化分析。
(2) 依資料分析作出有效判斷與結論。
(3) 顧及質性資料的倫理問題。
3. 撰寫評鑑報告
(1) 清晰一致地呈現評鑑報告。
(2) 將評鑑報告轉化為溝通用的簡易文件。
(3) 俱陳受評對象的優缺點。
(4) 確實指出訪評過程的限制。
(5) 說明訪評結果的後續追蹤原則。
(6) 給予具體改善與發展之建議。
4. 評鑑溝通
(1) 在訪視前之座談會及訪視後之結果討論會上明確說明評鑑要點 與成果。
(2) 有效回覆說明各院校及系所之申覆意見。
(3) 與評鑑辦理單位與委託單位達成共識。
(4) 處理關係人間的利益衝突。
第三部分為「大學訪評鑑委員評鑑研習之課程與教學規劃意見」。此問卷部 份係由課程單元規劃、課程內容規劃與教學方法規劃三個部份所組成。以下分為
「評鑑學理層面」以及「評鑑實務層面」之課程與教學規劃，來說明此部分的問 卷內容。
（一） 評鑑學理層面之課程與教學規劃
在評鑑學理層面的之課程規劃上，包括四大課程單元及十二個課程內容。
1. 大學評鑑理論的基本概念單元
(1) 介紹大學評鑑的意義、功能、與模式。
(2) 回顧常用的大學評鑑模式及其運用方式。
(3) 探討大學評鑑理論的應用及限制。
(1) 介紹質性與量化研究方法的設計概念。
(2) 介紹評鑑方法設計的方法論基礎。
(3) 探討如何增進評鑑方法設計的信效度。
3. 高教政策環境知識單元
(1) 介紹當今高教政策的目標、施行情況與法律依據。
(2) 探討高教政策方向與學校發展之關係。
(3) 回顧歷年來與大學評鑑相關的重要高教政策。
4. 評鑑標準與原則單元
(1) 介紹當今國內外的評鑑標準 (2) 探討如何有效運用評鑑標準 (3) 探討應遵守的訪評倫理原則
在教學規劃上，包括「教師講述」與「小組討論」兩種教學方法。
（二） 評鑑實務層面之課程與教學規劃
在課程規劃上，包括四大課程單元及各課程單元下共十六個課程內容。
1. 資料蒐集單元
(1) 介紹質性與量化資料蒐集方法。
(2) 探討如何選擇適合的資料蒐集方法。
(3) 介紹抽樣方法與降低取樣誤差的原則。
(4) 探討如何發展適切的資料蒐集工具。
2. 資料分析單元
(1) 介紹量化與質性資料分析的策略與方法。
(2) 探討抽樣資料的推論方式。
(3) 探討各種質性分析方法的優缺點。
(4) 探討質性資料分析的倫理問題。
3. 撰寫評鑑報告單元
(1) 介紹一份完整評鑑報告所應包含的內容與項目。
(2) 介紹評鑑報告的撰寫技巧。
(3) 探討評鑑報告撰寫的可能問題。
(4) 練習評鑑報告的撰寫。
4. 評鑑溝通單元
(1) 介紹評鑑溝通策略與衝突處理的技巧。
(2) 探討有效回覆說明各校院系之申覆意見的方法。
(3) 介紹進行訪視前座談會與訪視後討論會之溝通技巧 (4) 評鑑衝突處理的演練
在教學規劃上，包括「教師講述」、「小組討論」與「實作練習」三種教學 方法。由於評鑑實務層面之知能包括評鑑實務操作之技巧，因此在教學方法的規 劃上，除了上述「教師講述」與「小組討論」兩類教學方法外，則再加入「實作 練習」之教學方法。
三、 專家效度
本問卷效度係由專家效度所建立。研究者以指導教授之推薦函於九十八年一 月份，邀請八位對高等教育行政與教育評鑑有所專精的學者，針對本研究問卷之 內容加以鑑定，包括問卷架構、用字遣詞、重要概念、題目的適切性…等，以形 成專家內容效度。研究者根據專家意見修正題目後，與指導教授討論而形成正式 問卷。本研究所邀請的專家學者，依筆畫順序列述如下表 3-1：
表 3-1 專家學者名單
編號 姓名 現職
1 吳清山 臺北市政府教育局局長、
臺北市立教育大學教育行政與評鑑所教授 2 秦夢群 國立政治大學教育學系暨教育行政與政策所教授 3 張德銳 臺北市立教育大學教育行政與評鑑所教授 4 游進年 國立台灣師範大學教育行政與評鑑研究所副教授
表 3-1 專家學者名單(續)
編號 姓名 現職
5 曾淑惠 國立台北科技大學技術及職業教育研究所副教授 6 劉春榮 臺北市立教育大學副校長、教育行政與評鑑所教授 7 顏國樑 國立新竹教育大學教育學系教授兼系主任 8 蘇錦麗 國立新竹教育大學教育學系教授兼
教學與學校評鑑研究中心主任
專家效度問卷如附錄二。第一部分的問卷鑑定上，請專家學者提供其對背景 變項題目設計的適合度意見。第二部分的問卷鑑定上，請專家學者針對本研究所 設計的大學訪評委員評鑑知能項目與細項目，提出其認為這些評鑑知能項目與細 項目對評估一位大學評鑑委員所應具備之評鑑知能的適合度意見。第三部分的問 卷鑑定上，請專家學者針對研究者所規劃的評鑑研習課程與教學方式，衡量這些 題目對大學訪評委員評鑑研習之課程與教學規劃的適用程度。
研究者根據專家學者所提供的適合度意見，進行統計分析。根據統計分析結 果，挑選「適用」選項為 100%者予以直接保留，「適用」選項在 70%以下者予 以刪除，「適用」選項在 70%以上者與「修正後適用」選項之百分比相加，其值 在 80%以上者予以修正後保留，而其值在 80%以下者則予以刪除。專家意見統 計分析結果臚列如表 3-2 所示：
表 3-2 專家意見之統計表
問卷第一部份、填答人經驗資料題目設計之適切性
項度 題號 適合 修正後適合 不適合 結果
N % N % N %
現任職位 1 8 100.00 0 0.00 0 0.00 保留 曾任大學
行政職位 2 6 75.00 2 25.00 0 0.00 修正 參與大學
評鑑與講 習經驗
3 8 100.00 0 0.00 0 0.00 保留 3-1 8 100.00 0 0.00 0 0.00 保留 3-2 8 100.00 0 0.00 0 0.00 保留
表 3-2 專家意見之統計表(續)
問卷第二部份、大學訪評委員評鑑知能之項目、細項之適切性
─評鑑學理層面之知識 項度 題號 適合 修正後適合 不適合
結果
N % N % N %
大學評鑑 理論的基 本概念
1 8 100.00 0 0.00 0 0.00 保留 1-1 8 100.00 0 0.00 0 0.00 保留 1-2 6 75.00 2 25.00 0 0.00 修正 評鑑研究
方法論
2 7 85.50 1 12.50 0 0.00 修正 2-1 6 75.00 2 25.00 0 0.00 修正 2-2 6 75.00 2 25.00 0 0.00 修正 2-3 5 62.50 2 25.00 1 12.50 刪除 高教政策
環境知識
3 8 100.00 0 0.00 0 0.00 保留 3-1 6 75.00 2 25.00 0 0.00 修正 3-2 8 100.00 0 0.00 0 0.00 保留 評鑑標準
與原則
4 8 100.00 0 0.00 0 0.00 保留 4-1 7 85.70 1 12.50 0 0.00 修正 4-2 7 85.70 1 12.50 0 0.00 修正 問卷第二部份、大學訪評委員評鑑知能之項目、細項之適切性
─評鑑實務層面之知能 資料蒐集
及分析
1 6 75.00 2 25.00 0 0.00 修正 1-1 8 100.00 0 0.00 0 0.00 保留 1-2 8 100.00 0 0.00 0 0.00 保留 1-3 6 75.00 2 25.00 0 0.00 修正 1-4 6 71.43 1 12.50 1 12.50 修正 1-5 6 75.00 2 25.00 0 0.00 修正
表 3-2 專家意見之統計表(續)
問卷第三部份、大學評訪委員評鑑研習之課程與教學規劃之適切性
項度 題號 適合 修正後適合 不適合 結果
N % N % N %
撰寫評
鑑報告
2 8 100.00 0 0.00 0 0.00 保留 2-1 7 87.50 1 12.50 0 0.00 修正 2-2 7 87.50 0 0.00 1 12.50 修正 2-3 8 100.00 0 0.00 0 0.00 保留 2-4 8 100.00 0 0.00 0 0.00 保留 2-5 8 100.00 0 0.00 0 0.00 保留 評鑑溝
通
3 8 100.00 0 0.00 0 0.00 保留 3-1 6 75.00 2 25.00 0 0.00 修正 3-2 8 100.00 0 0.00 0 0.00 保留 3-3 7 87.50 1 12.50 0 0.00 修正 3-4 7 87.50 1 12.50 0 0.00 修正
項度 題
號
適合 修正後適合 不適合 結果
N % N % N %
評鑑學 理層面 之知識
課程單元
1 8 100.00 0 0.00 0 0.00 保留 大學評鑑理論 的基本 概念
課程
2 6 75.00 2 25.00 0 0.00 修正教學
3 6 75.00 2 25.00 0 0.00 修正 評鑑研究方法 論
課程
4 6 75.00 2 25.00 0 0.00 修正教學
5 6 75.00 2 25.00 0 0.00 修正 高教政策環境 知識
課程
6 6 75.00 2 25.00 0 0.00 修正教學
7 6 75.00 2 25.00 0 0.00 修正表 3-2 專家意見之統計表(續)
經專家審題結果，研究者決定刪除 1 題，為大學訪評委員評鑑學理層面知識 的第 2-3 題。經整理並分析專家學者之修正意見後，研究者予以修改部分問卷題 目，並與指導教授討論後形成正式問卷（詳見附錄三）。將原來題目與修正後之 題目一併整理說明於下表 3-3。
表 3-3 問卷題目修正表
問卷第一部份：個人經驗資料
題號 原來題幹敘述 專家學者修正建議 修正後題目
題號 原來題幹敘述 專家學者修正建議 修正後題目