第三章 研究設計與實施
第五節 資料處理與統計分析
本研究資料處理範圍涵括質性與量化二部分,除處理相關文獻與專家 諮詢所蒐集到的資料外,根據第二章第三節所研擬出來的教學網站評估指 標,編製成「教學網站評估指標建構之適切性評估暨模糊德菲法專家問卷」
(附錄二),及「教學網站評估指標相對權重專家問卷」(附錄三)等 2 份 問卷,並運用模糊德菲法與模糊層級分析法進行分析。
壹、 「教學網站評估指標建構之適切性評估暨模糊德菲法專家問卷」的實 施與分析
本研究者參考國內外對於網站評估相關文獻探討,初擬「教學網站評 估指標建構之適切性評估暨模糊德菲法專家問卷」,內容包含等 5 個構面,
每個構面下分別包含 5 至 10 個不等的指標,共計 36 個指標。
為了解整體構面各項指標之適切性與重要程度狀況,研究者設計「教 學網站評估指標建構之適切性評估暨模糊德菲法專家問卷」,對 20 位專家 進行調查,問卷實施與回收後資料分析相關過程說明如下:
一、 適性性評估與模糊德菲專家資料填寫
首先邀請專家進行指標適切性評估,協助篩選指標或修正指標定義說 明;適切性分為「適用」、「修改」、「刪除」等三個等級量表,專家亦可於 相關欄位進行意見表達);至於該問卷另設計有重要性程度欄位供專家填寫,
請專家針對所評估指標的最大值(最樂觀認知)與最小值(最保守認知)
進行衡量,並將結果填入相對應之問卷欄位中,再依區間範圍,對該項指 標之最佳值(可能值)進行評估,並將結果填入其相應之欄位。
二、 回收問卷並整合題目適切性填答結果
問卷回收後,整合專家意見(詳附錄四),將相同或類似的意見歸併,
不同意見予以分析,而後進行指標項目的刪除與調整;至於資料處理方式,
採用 Excel 試算表軟體計算回答各種意見之反應次數、百分比與平均數。
據統計結果分析,本研究除採用吳明隆與涂金堂(2006)將「適用」與「修
61
改」次數百分比(指標 Ai 在語意變數 Lj 的勾選人數 nij,則選項人數比例 為 aij = nij / N)高於 90%的指標予以保留,未達 90%之指標予以刪除外,
同時透過編碼方式(「適用」編為 2、「修改」編為 1、「刪除」編為 0)計 算平均數,刪除平均數未達 1.8 的指標項目,主要目的在更為確保本研究 案主題方向之可信度與正確性。
三、 模糊德菲專家意見結果與分析
(一) 取得專家對各指標的重要評估值:專家透過「教學網站評估指標建 構之適切性評估暨模糊德菲法專家問卷」,對所評估指標的最小 (最 保守認知) 值、最佳(可能)值與最大 (最樂觀認知) 值,由低 到高在 0 至 10 之間進行衡量與填寫;研究者再依填答數值依序轉換 為 0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1 等數值,每 位專家(n)在每一項指標的填答結果依序可用μLn(最小值)、μMn
(最佳值)、μUn(最大值)表示,而 20 位專家意見結果整理為「專 家問卷填寫之各指標最保守認知值、可能值及最樂觀認知值」表。
(二) 計算各指標的三角模糊數:本研究依據 20 位專家填答結果,擬訂各 指標之三角模糊數A=(Li,Mi,Ui)L-R
Mi= (μM1 × μM2 × … × μMn)1/n
,其中最小值(Li)取各專 家在最保守認知值中最小數值者,最大值(Ui)取各專家在最樂觀 認知值中最大值者;至於最佳值(Mi),則取全體專家填答結果幾 何平均數(張有恆,1998)。
(三) 三角模糊數(triangular fuzzy numbers)之反模糊化:為將前一步驟 取得之三角模糊數轉換化為明確值,並做為後續門檻值篩選之參考,
本研究依據 chen 與 Hwang(1992)所提出模糊集合反模糊化之方法,
計算出各項評估指標項目之右界值(μR)、左界值 (μL)和總值(μT),
並由總值表示模糊數之明確值。
62
1. 建立最大集隸屬函數μMax(x)與最小集隸屬函數μMin
μ
(x)
Max
μ
(x)=�x,0 ≤ x ≤ 1 0,otherwise
Min
μ
(x)= �1 − x,0 ≤ x ≤ 1 0,otherwise
Max(x)與μMin(x) 分別與三角模糊數A之右界與左界產生交 集,A= (Li,Mi,Ui)RL-R
2. 由最大值隸屬函數數μ
代表三個點座標(L,0)、(M,1)、
(U,0),透過 (L,0)、(M,1)二點可建立模糊函數y=(x-1)
/(m-1),而透過(M,1)、(U,0)二點可建立模糊函數y=(x-u)
/(m-u)。
Max
將 A 的模糊函數 y=�(x − 1)/(m − 1)
(x − u)/(m − u) 與最大隸屬函數
(y=x)產生交集,可得兩點,取其中 y 座標值較大者,即求出 右界值μR。
(x)與A的模糊函數求出右界值μR
3. 由最小值隸屬函數μMin
將 A 的模糊函數 y=�(x − 1)/(m − 1)
(x − u)/(m − u) 與最小隸屬函數
(y=1-x)產生交集,可得兩點,取其中 y 座標值較大者,即求 出左界值μL。
(x)與A的模糊函數求出左界值μL
4. 計算模糊數 A 的總值μT(A),即為模糊數之明確值 μT(A)i=(μR(A)i+1-μL(A)i)/2
(四) 門檻值設定並進行指標篩選:評估指標的選取,是以每個指標的三 角模糊數之明確值(μT),代表各模糊德菲專家對各指標評定量尺 的共識,最後依研究目的決定適合的門檻值。本研究以α 截集(α-cut)
63
來篩選重要的評估因素。α 截集(α-cut)界於 0≦α≦1。公式如下:
(Yuan, 1991)
Aα={χ ∈ ∪ |μA�(χ) ≧ α} α∈ �0,1�
當α≦μA(χ) ≦ 1 , χ∈ Aα ,α 稱為標準門檻,Aα指隸屬 函數χ 屬於 A 集合,也就是隸屬函數 χ 值大於或等於 α 值, A+
集合表示χ 值大於或等於 α 值的集合,亦即接受 A 影響因素為評 估準則。解模糊區間為 0~1。
而後根據研究目設定合適的門檻值,並透過門檻值對指標進 行篩選,當專家的共識重要程度(明確值)大於或等於門檻值,
接受該指標,明確值愈大,代表愈適合做為網站評估指標之用;
反之明確值小於門檻值,表示該指標對於教學網站評估之重要性 不如其他指標,則剔除該指標。經由模糊德菲法對本研究所提出 的教學網站品質評估架構進行篩選後,可確立層級架構圖。
貳、 「教學網站評估指標相對權重調查問卷」的實施與分析
本研究根據前次問卷保留下來的適切性衡量指標建立層級結構,並發 展成「教學網站評估指標相對權重調查問卷」。問卷評估項目是在上一層級 評估項目的評估前提下,以名目尺度與同一層級內其他評估項目進行成對 比較,填寫者以此方式評估指標的重要性,該評定尺度分為絶對重要、極 重要、頗重要、稍重要、同等重要等五個尺度。尺度意義說明如表 3-2
64
(Very Strong Importance)
實際顯示非常強烈傾向喜好某一方案
資料來源:Saaty, T. L. (1980). The analytic hierarchy process: planning, priority setting, resources allocation. New York: McGraw.
一、 建立成對比較矩陣(pairwise comparison matrix)
利用成對比較(pairwise comparison)之內項問答結果,取專家對於第
65
三、 計算模糊正倒值矩陣(fuzzy positive reciprocal matrix)的模糊權重 計算模糊正倒值矩陣之模糊權重值,可參據 Satty(1980)提出的「特 徵向量」或「最大特徵值」關於特徵值(eigenvalue)解決方法,採用列向 量幾何平均值標準化求取向量值,求得指標間模糊正倒值矩陣的模糊權重 值。
W =
(∏ 𝑎𝑎𝑖𝑖𝑖𝑖𝑛𝑛𝑖𝑖=1 )1/𝑛𝑛
∑𝑛𝑛𝑖𝑖 =1(∏𝑛𝑛𝑖𝑖=1𝑎𝑎𝑖𝑖𝑖𝑖)1/𝑛𝑛,
ij=1
,2
,……
,n
四、 解模糊化(defuzzification)並予正規化(normalize)
為獲取各項指標之權重值,本研究擬將上一程序求出的模糊權重運用 下述方式予以解模糊化及正規化:
權重的三角模糊數 Aij = (Lij,Mij,Uij) 解模糊權重值 dFij
=
(L
ij+ M
ij+ U
ij)/ 3
正規化 NWi=dFij/ΣdF
ij至於 5 個層面下各分項指標的串聯權重 Wji的計算方式:
Wji =Wj * Wi
Wji表第 j 層次第 i 各指標之總權重值 Wj 表第 j 個主要指標的權重值
Wi表在第 j 個主要指標下,第 i 個次要指標之權重值 五、 一致性檢定:
為避免造成不良的決策,成對比較矩陣一致性檢定成為評估指標建構 過程中的關鍵(Saaty, 1980)。一致性檢定方式包含:
(一) 最大特徵向量值(𝜆𝜆𝑚𝑚𝑎𝑎𝑚𝑚)的計算
νi = ( � wj
n
j=1
aij)/wi,𝑖𝑖𝑖𝑖 = 1,2,3,… 𝑛𝑛
66
𝜆𝜆𝑚𝑚𝑎𝑎𝑚𝑚 =∑𝑛𝑛 𝜈𝜈𝑖𝑖 𝑖𝑖 =1
𝑛𝑛 ,𝑖𝑖 = 1,2,… 𝑛𝑛
(二) 一致性指標(Consistency Index , C.I.)的檢定
𝐶𝐶. 𝐼𝐼. =( 𝜆𝜆𝑚𝑚𝑎𝑎𝑚𝑚– 𝑛𝑛 )
( 𝑛𝑛– 1 )
(三) 一致性比率(Consistency Ratio , C.R.)的檢定 𝐶𝐶. 𝑅𝑅. =𝐶𝐶. 𝐼𝐼.
𝑅𝑅. 𝐼𝐼.
67