• 沒有找到結果。

第三章 研究設計與實施

第四節 資料處理

本研究為建立我國高等技術及職業教育品質保證指標架構,並進行指標間相 對權重分析,分別運用專家訪談法、專家效度問卷、模糊德懷術及層級分析法進 行資料蒐集與處理。本節將分別說明如何進行各項研究方法之資料蒐集及處理過 程。

一、專家訪談法

本研究專家訪談進行時間自 2015 年 3 月 25 日起至 2015 年 3 月 27 日完成,

採個別面對面方式進行訪談,並經徵求受訪者同意後,以錄音及札記方式詳實紀 錄訪談內容(訪談逐字稿詳如附錄四),並將受訪者予以編碼,就訪談過程以錄 音方式記錄部分,分別以逐字稿方式呈現,忠實客觀呈現出訪談對話過程,內容 不摻雜訪談者個人意見;最後,整理受訪者所提出意見與看法,將訪談結果予以 整理歸納出具體概念,據以修正我國高等技術及職業教育品質保證指標初步概念 架構,並就該初步概念架構編製我國高等技術及職業教育品質保證指標專家效度 調查問卷。

二、專家效度問卷

本研究專家效度調查問卷(詳附錄六)併同指導教授推薦函(詳附錄五)於 2015 年 4 月 2 日以郵局快遞寄出,並請 12 位學者專家於 2015 年 4 月 17 日前以 所附限時掛號回郵信封寄回。經研究者以電子郵件、電話請託、催收後,於 2015 年 4 月 28 日完成 12 份問卷回收,回收率為 100%,並就回收問卷予以逐份檢視 填答完整性,並分別予以編碼,惟經檢視其中 1 份專家效度問卷未勾選適用程度 選項,視為廢卷,爰就 11 份有效問卷進行量化分析及質化開放意見歸納整理(詳 附錄七),據以修正我國高等技術及職業教育品質保證指標架構,並就該架構製 作我國高等技術及職業教育品質保證問卷指標模糊德懷術調查問卷。

三、模糊德懷術問卷

本研究模糊德懷術調查問卷(詳附錄九)併同指導教授推薦函(附錄八)於

94

2015 年 5 月 6 日以郵局快遞寄出,並請 20 位諮詢委員於 2015 年 5 月 15 日前以 所附限時掛號回郵信封寄回。經研究者以電子郵件、電話請託、催收後,於 2015 年 5 月 20 日完成 20 份問卷回收,回收率為 100%,並就回收問卷予以逐份檢視 填答完整性,並分別予以編碼,並即著手進行量化分析及質化開放意見歸納整 理。

本研究模糊德懷術問卷調查語意變數評定值,係由參與調查專家諮詢小組委 員自行決定,問卷各題項均以「非常適切」、「適切」、「稍適切」、「不適切」、

「非常不適切」作為選項,諮詢委員依據調查問卷填答說明,可選擇以問卷預設 值作為評定參考值,或自行設定參考值,表 3-9 為預設評定參考值,表 3-10 為 諮詢委員自行設定評定參考值。

表 3- 9模糊德懷術預設語意變數評定參考值 模糊德懷術預設語意變數評定參考值

語意變數 參考值

適切程度評定

非常適切 適切 稍適切 不適切 非常不適切 最大可能值 0.9 0.7 0.5 0.3 0.1 區間值 0.8-1.0 0.6-0.8 0.4-0.6 0.2-0.4 0.0-0.2 說明:1.「最大可能值」必須位於各選項「區間值」中間。

2.從「非常不適切」至「非常適切」間之區間值範圍為 0-1。

表 3- 10模糊德懷術諮詢委員自行設定語意變數評定參考值 模糊德懷術諮詢委員自行設定語意變數評定參考值

語意變數 參考值

適切程度評定

非常適切 適切 稍適切 不適切 非常不適切 最大可能值

區間值 - - - - -

說明:1.「最大可能值」必須位於各選項「區間值」中間。

2.從「非常不適切」至「非常適切」間之區間值範圍為 0-1。

另外,本問卷綜合修正意見部分採開放題型,請各諮詢委員就本研究建構我 國高等技術及職業教育品質保證指標提出看法及意見,包括增刪構面、主指標及 次指標,修正用字遣詞,或任何與高等技術及職業教育品質保證指標有關建議,

作為指標架構修改之參據。

本研究模糊德懷術問卷調查,就專家所提適切性分析進行量化分析,就分析 結果不適切指標進行刪題,並就開放意見質化分析,修改指標內涵及進行部分指

95

(equal importance)

兩比較方案貢獻程度具同等重要性 等強(Equally)

3 稍重要

(weak importance)

經驗與判斷稍微傾向喜好某一方案 稍強(Moderately)

5 頗重要

(essential importance)

經驗與判斷強烈傾向喜好某一方案 頗強(Strongly)

7 極重要

(very importance)

實際顯示非常強烈傾向喜好某一方案 極強(Very Strongly)

9 絕對重要

(absolute importance)

有足夠證據肯定絕對喜好某一方案 絕強(Extremely)

2、4、6、8 相鄰尺度中間值 需要折衷值時

96

資料來源:張紹勳(2012)。模糊多準則評估法及統計。臺北市:五南。

至 AHP 在處理認知反應的評估值時,則採比率尺度(從名目尺度產生)方 式,其分析步驟如下:

(一)建立各層級成對比較矩陣

指標成對比較乃是為了評估指標間相對重要性,而每個成對矩陣則代表某一 構面內指標間相對重要程度;本研究建立各層級成對比較矩陣,以便導出各構面 指標間相對權重。

首先,就指標相對重要性進行成對比較,經 20 位專家評估後,將每一成對 指標項次之 20 個值,運用幾何平均數計算,求得 20 位專家( 、 、 ) 共同評估值(geomean),即作為指標成對比較評估值。

本研究分為 5 項區塊分析,指標相對重要性成對比較,需依區塊內指標進行,

每一區塊內有 n 個指標,則需進行 個成對比較,本研究分為 5 個部分 進行指標兩兩比較,各指標數為:一、四項構面間比較;二、各構面內主要指標 及次指標兩兩比較,四個構面內主要指標及次指標,分別為:基礎構面內包含 4 項主要指標及 12 次指標、輸入構面內包含 8 項主要指標及 36 項次指標、學習轉 化構面內包含 4 項主要指標及 13 項次指標、成果構面內包含 4 項主要指標及 15 項次指標。因此本研究依各項構面間及構面內指標成對比較,計有 178 個指標成 對比較評估值。

其次,依各區塊內專家共同評估值,置於成對比較矩陣之上三角形部分(主 對角線為要素自身比較,因此其值為 1),而下三角形部分之值,則為上三角形 相對位置的倒數,據此,建立指標成對比較矩陣

A

為一正倒值矩陣,詳如下圖 所示(張紹勳,2012):

97

(二)計算各構面特徵向量(權重)

依據成對比較正倒值矩陣,計算求得特徵值(Eigenvalue)、找出特徵向量

(Eigenvector),其計算方式為(張紹勳,2012):

1.以成對比較矩陣中之元素(值)除以其所在行元素之總和(此亦為正規 化)。

2.把每列元素加總求其平均數,此構面各列平均數即為特徵向量(W);並 依學者 Saaty 提出行向量平均值標準化法,以近似法求取向量值。

(三)進行層級一致性檢定

層級一致性檢定目的在於檢定各層級內的一致性,亦即檢定 19 位專家對指 標兩兩比較的優先順序共識程度。在 AHP 中一致性檢定,係運用三項指標行成 對比較矩陣,包括:一致性指標(Consistence Index, C.I.)、一致性比率(Consistence Ratio, C.R.)及整體層級一致性檢定(Consistence Ratio of the Hierarchy, C.R.H.),

因此,本研究結果以此三項指標檢定填答者反應一致性,進行程序如下(張紹勳,

2012):

1.計算最大特徵值

進行一致性檢定前,須先計算矩陣之最大特徵值 ,其計算公式如下所 示:

其中 代表 AW 的第 i 個元素。

2.計算一致性指標(C.I.)

一致性指標由上述特徵向量法公式求得 與 n(為矩陣中要素的個數,即

98

為矩陣維數)二者差異程度可求得一致性指標,作為判斷一致性高低的衡量基 準。

當 C.I.=0 表示前後判斷完全具一致性,而 C.I.>0 表示專家填答前後判斷不一 致,又 Saaty(1977)建議 C.I.<0.1 最佳,但最大可容許偏誤為 C.I.<0.2。因此本 研究計算各構面矩陣依 C.I.<0.2 作為填答者判斷趨於一致的標準,否則須重新評 估。

3.計算一致性比例(C.R.)

依據 Oak Ridge National Laboratory & Wharton School 進行之研究,從評估尺 度 1-9 所產生之正倒值矩陣,在不同階數下會產生不同的 R.I.稱為隨機性指標

(Random Index, R.I.),R.I.會隨著矩陣階數之增加而增加,詳表 3-12 所示。在 相同階數矩陣下 C.I.值與 R.I.值的比率,稱為一致性比率 C.R.(Consistency Ratio)。

若 C.R.<0.1 時,則矩陣的一致性程度使人滿意。

表 3- 12AHP 隨機指標與階層關係表

AHP 隨機指標與階層關係表

階數 1 2 3 4 5 6 7 8 R.I. 0 0 0.58 0.90 1.12 1.24 1.32 1.41 階數 9 10 11 12 13 14 15 -

R.I. 1.45 1.49 1.51 1.48 1.56 1.57 1.58

資料來源a:吳政達(2008)。教育政策分析-概念、方法與應用。臺北市:高 等教育。

資料來源b:張紹勳(2012)。模糊多準則評估法及統計。臺北市:五南。

4.層級一致性檢定結果

本研究就各構面間比較、4 項構面內指標等五部分,其內各指標兩兩比較分

99

析,指標相對重要性進行成對比較矩陣運算,經計算其一致性指標、隨機性指標、

一致性比例資料,經比較分析構面間、四項構面內指標之 C.I.均小於 0.2,C.R 均.

小於 0.1,是以,本研究構面內之成對比較矩陣滿足一致性檢定的要求(詳表 3-13)。

表 3- 13AHP 層級一致性檢定值表

AHP 層級一致性檢定值表

C.I. C.R.

各項構面間 3.80 0.08 0.09

基礎構面 3.75 0.07 0.07

輸入構面 8.07 0.14 0.10

學習轉化構面 3.82 0.09 0.10

成果構面 3.95 0.06 0.07

5.整體一致性檢定結果

本研究之各構面成對矩陣均符合一致性要求,尚須檢定整體層級結構一致性。

整體層級一致性比率(Consistency Ratio of the Hierarchy, C.R.H),就是將整體 層級一致性指標(Consistency Index of the Hierarchy, C.I.H.)除以整體層級隨機 指標(Random Index of the Hierarchy, R.I.H.)。意義上,它為運用層級權重作權 數之加權平均一致性比率。R.I.H 為經過加權之 R.I.,用於計算 C.R.H.。

本研究進行整體一致性分析,C.I.H.=0.35、R.I.H.=4.11、C.R.H.=0.09,詳表 3-14;分析結果 C.R.H.小於 0.1,滿足整體一致性要求;準此,本研究結果達可 接受水準,接續將求得各層級架構與各評估指標權重值,並針對整體層級權重進 行計算,分析各階層要素間之相對權重。

第 j 層級第 i 個因素優先向量, ;

第 j+1 層級對 j 層級之第 i 個因素一致性指標向量, ;

第 j+1 層級對 j 層級之第 i 個因素隨機指標向量,

100

表 3- 14整體一致性檢定值表 整體一致性檢定值表

C.I.H R.I.H. C.R.H

整體層級 0.35 4.11 0.09

(四)確定各層面指標權重

由計算結果若一致性指標 C.I.小於 0.2、一致性比率 C.R.小於學者 Saaty 建議 值 0.1,則矩陣一致性令人滿意,可將該成對比較矩陣運算所得特徵向量作為權 重值,亦即為各構面指標權重。

由計算結果若一致性指標 C.I.小於 0.2、一致性比率 C.R.小於學者 Saaty 建議 值 0.1,則矩陣一致性令人滿意,可將該成對比較矩陣運算所得特徵向量作為權 重值,亦即為各構面指標權重。