資料處理與分析方式

「技術學院綜合評鑑問卷調查」透過對95、96 年度參與或接受技術學院 綜合評鑑之評鑑委員及受評學校相關人員進行抽樣式的問卷調查，並進行統 計分析。「專家訪談」透過對訪談資料的歸納整理，了解國內技術學院綜合評 鑑的實施成效與未來發展方向，並與問卷調查結果作綜合比較分析。

壹、「技術學院綜合評鑑問卷調查」統計分析

本研究在問卷回收後，首先對問卷進行檢驗，將資料不完整或規則填答 之無效問卷剔除，將剩餘有效問卷進行編碼、建檔，首先進行結構方程模式 (SEM Structural Equation Modeling)之「驗證性因素分析」，並採用 SPSS 計量 方法進行資料分析，採用的分析方法分述如下：

一、描述性統計分析( Descriptive Statistics Analysis)

包含樣本基本資料的描述，做變數的次數分配及百分比分析，以瞭解 樣本分佈情形。此外，以平均數及標準差描述後設評鑑效用性、可行性、適 切性、精確性等四個構面，以瞭解技術學院綜合評鑑之後設評鑑情形。

二、驗證性因素分析（CFA Confirmatory Factor Analysis）

驗證性因素分析建立在具有特定理論觀點或概念架構之基礎下，藉由 數學程序，確認評估該理論觀點所導出的計量模式是否適當、合理（吳明隆，

2007），以建構本研究量表的效度。

三、信度係數分析( Reliability Analysis)

信度分析是用來了解量表的可靠程度，亦即量表的一致性或穩定性的

指標。本研究採用 Cronbach's α 係數針對各研究變項之衡量變項進行信度分 析，以衡量構面的一致性。

四、交叉分析（Cross Analysis）

主要目的為探討不同身分者（評鑑委員、受評學校行政主管、系所主 任、專任教師）對於技術學院後設評鑑之看法與差異分析。

五、獨立樣本 t 檢定分析( T-test Analysis）

t 考驗指平均數差異檢定，亦即進行不同身份（評鑑委員、受評學校人 員）、不同性別、不同評鑑經驗者在後設評鑑四個構面各向度之平均數考驗與 平均數的差異檢定。

六、單因子變異數分析( One-way ANOVA）

單因子變異數分析主要係比較評鑑委員、受評學校人員在不同學歷、

不同職務的平均數之間是否有顯著差異。

貳、「專家訪談」綜合比較分析

本研究使用綜合比較分析法，分析各專家學者對國內技術學院綜合評鑑 的實施成效、爭議觀點之看法。

第六節 實施程序

壹、「技術學院綜合評鑑問卷調查」之實施

一、問卷施測方式

經過前述準備階段及設計修改過程後，印製問卷，利用郵寄方式發放 問卷給評鑑委員及受評學校相關人員，期間使用 E-mail、電話催收等方式，

以提高本研究的問卷回收率。

二、問卷調查樣本回收情形

本研究計發出問卷372 份，回收 279 份，回收率為 75％，剔除規則填 答 10 份、填答不完整 14 份，總計有效問卷 258 份，可用率為 92.4％。各類 調查對象問卷回收率詳如表3-6-1。

表3-6-1 調查問卷回收情形表

受評學校 調查對象

問卷

評鑑委員

行政主管 系所主任 專任教師

合計

發出份數 100 68 68 136 372 回收份數 58 58 57 106 279

回收率 58% 85.3% 83.8% 77.9% 75％

三、量表驗證性(CFA)因素分析

問卷回收經過資料編號與資料輸入後，本研究使用結構方程模式(SEM) 的 AMOS 軟體進行驗證性因素分析（CFA），考驗研究各題目的建構效度，

經由題項的篩選進行資料分析，透過量測標準為因素負荷量 > 0.7、信度係數

>0.5，本研究除了選擇選取符合量測標準之題項，為維持資料統計上之效度

盡量保持各分量表三題以上之題項。題項篩選結果如下。

1. 效用性量表的驗證性(CFA)因素分析

在效用性量表中，分量表U1 確認利害關係人中，選取 U11、U12、U13；

分量表 U2 評鑑者具可信度中，選取 U21、U22、U23、U24、U26；分量表 U3 評鑑項目與指標中，選取 U31、U32、U33、U34、U35；分量表 U4 價值 的確認中，選取U41、U42、U43；分量表 U5 清晰的評鑑報告中，選取 U51、

U52、U53、U54、U55；U6 即時處理評鑑結果中，選取 U62、U63、U64；

分量表 U7 評鑑的影響中，選取 U74、U75、U76、U77。原本效用性量表共 計 38 題，因為模式的適配性的修正，而採用其中 28 題代表效用性量表的七

U24 評鑑委員之組成符合受評學校類組之

點

在可行性量表中，分量表F1 務實的程序中，選取 F14、F15、F16、F17；

分量表 F2 行政配合措施中，選取 F21、F23、F24；分量表 F3 成本效益中，

選取 F31、F32、F33、F34。原本可行性量表共計 16 題，因為模式的適配性

F3 成本效益

P34、P35；分量表 P4 完整和公平的評鑑中，選取 P41、P42、P43；分量表 P5 結果的公布中，選取 P51、P53、P55；P6 即時利益衝突中，選取 P61、P62；

分量表 P7 評鑑報酬中，選取 P71、P72、P73。原本適切性量表共計 27 題，

評鑑作業進行的程序

P53 評鑑結果為三等以下之科系所需接受

追蹤輔導與追蹤評鑑的設計是適切的 3.97 0.72 0.686 0.47 0.53 P54 評鑑結果為四等科系所需退場的規定

是適切的 3.81 0.94 0.546 0.298 0.702 P55 評鑑結果能為社會大眾所接受 3.59 0.85 0.84 0.706 0.294 P6 利益衝突

P61

評鑑委員對兼課、合作、師生關係、

競爭關係等利益相關學校，能確實迴 避

3.78 0.84 0.646 0.417 0.583

P62 評鑑委員未能遵守迴避原則，一經舉

發，不得再參與評鑑工作是適切的 4.33 0.66 0.46 0.211 0.789 P7 評鑑報酬

P71 評鑑委員的工作負荷與報酬是合理的 3.50 0.73 0.324 0.105 0.895 P72 榮譽屬性使評鑑委員樂意接受評鑑的

工作 3.77 0.80 0.955 0.913 0.087 P73 榮譽屬性使評鑑委員樂意付出時間參

與評鑑 3.78 0.84 0.983 0.965 0.035

4.

在精確性量表中，分量表A1 書面記錄中，選取 A11、A12、A13；分量 表A2 情境分析中，選取 A21、A22、A23、A24；分量表 A3 有效處理資訊中，

選取A31、A32、A33、A34；分量表 A4 公平報導中，選取 A41、A42、A43。

精確性量表共計14 題，在模式的適配性修正後，所有題項皆適合代表精確性

A34 評鑑委員對晤談所獲資訊，能以專業

判斷真實性，並經印證後才會引用 3.71 0.76 0.843 0.711 0.289 A4 公平報導

A41 評鑑報告內容不受評鑑委員個人主觀

意識影響 3.41 0.85 0.792 0.627 0.373 A42 評鑑報告內容不受學校請託影響 3.64 0.80 0.812 0.659 0.341 A43 評鑑報告內容反映學校行政與專業科

系所實際狀況 3.67 0.71 0.82 0.673 0.327

貳、「專家訪談」之實施

依據事先研擬之專家名單，分別聯繫訪問時間及地點，並於事前將訪談 題綱以e-mail 寄送受訪者參閱。

訪問時同時紀錄受訪專家之回答，整理成為「專家訪談紀錄」，另為研究 方便起見，再將訪談記錄進一步整理成「專家訪談記錄摘要表」。