• 沒有找到結果。

肆、教育指標建構的方法

教育指標建構的方法相當多,依郭昭佑(2000)探究之結果,質化指標 建構的方法有文獻探討法、專家判斷法、腦力激盪法、專業團體模式、提 名小組、焦點團體法及德懷術等七種;量化指標建構的方法有問卷調查 法、迴歸分析法、因素分析法(及主成分分析法)、階層分析法(Analytic Hierarchy Process, AHP)等五種;複合性指標建構的方法包括精釋研究法 (Hermeneutics)、概念構圖法。一般而言,較常使用的方法有:問卷調查法、

德懷術、焦點團體法、階層分析法、因素分析法、精釋研究法等六種,現 說明如次。

一、問卷調查法

問卷調查法是量化指標建構中較為簡單、運用普遍的方法,國內多篇 相關研究係採用此一方法。問卷調查之步驟可歸納如下(張美蓮,1996;郭 昭佑,2000;曾榮祥,2006;吳清山、黃美芳、徐緯平,2002)。

(一)確定指標體系內容與架構:研究者必須在研究動機與目的的引領下,

清楚確認其從事指標體系建構研究之內容並進行相關文獻的閱讀與整 理,藉由對指標體系的領域、層面及指標的了解與界定,導引後續研 究之設計。

(二)編製競爭力指標問卷:研究者依文獻探討所瞭解之資訊,將適宜的指 標加以分類,編製競爭力指標問卷。為求周延,可經專家問卷意見表 達或座談,使問卷更具有效性。

(三)問卷調查:將競爭力指標問卷交由學者專家、教育行政人員、學校教 師、家長、社區人士等利害關係人進行抽樣問卷調查各指標之重要性,

其中包括預試及正式問卷之施測。

(四)問卷調查分析:依問卷調查結果,分析各指標重要性之平均分數及其 重要度,按各指標之平均數與重要度分類排序。

(五)修正與建構指標體系:針對研究結果與發現,就原先建構之指標體系進行修 正、解釋和討論,並提出結論與建議。

二、德懷術

德懷術是美國Rand Corporation 在 1948 年研發出的分析決策法。此法 係針對某一主題交由一群專家表達意見,然後再予以蒐集、分析並彙整資 料,冀獲得團體一致性之看法,而專家毋須面對面辯論,僅需就某一主題 編製成一系列問卷,依據個人的知覺與認知,表達意見予以評判進而達成 共識(王文科,1993)。在實際進行調查時,主要的步驟如下(王建正,2002;

孫志麟,1998;陳啟榮,2003;陳麗珠,1999;游家政,1994;靳烔彬,

2004;Delbecq,et al.,1975):

(一)確定研究主題:必須確定所要探討的主題,然後再根據主題編製問卷。

因此,要以清楚具體的文字加以敘述俾能瞭解問題的意義與性質。

(二)選擇並聯絡專家:專家團體之選擇對研究效能有決定性的影響,有關 成員選擇的原則如下:1.擁有該領域的專業知能;2.兼具理論與實務;

3.具客觀理性的溝通能力;4.具有參與研究的熱誠與時間;5.樣本具有 高異質性。至於專家人數,應視研究目的與實際需求而定,假如專家 的同質性較高,成員最好為10 至 30 位,若同質性較低,則 5 至 10 位 即可。

(三)第一回合問卷編製與調查:第一回合問卷可採結構式、半結構式或開 放式問卷。第一回合問卷內容需附上「研究說明」,確實向專家群說明 研究目的、流程與內容,解釋需要協助的原因並致上感謝的短函。

(四)第二回合問卷調查:第二回合問卷必須中肯的反應專家群於第一回合 問卷所表達的整體意見並附上第一回合的統計資料,包括各題項之平

- 72 -

均數、眾數與標準差等,以作為專家群重新判斷之參考。

(五)重複進行問卷調查至達成共識:一般德懷術調查問卷大致實施三至四 次,假若第一次即採取結構式問卷,那麼也許兩次就可達成共識。

(六)資料統計分析:德懷術兼採質與量的分析方法。在質的分析方面,以 內容分析的方法,將專家所提供的意見進行詮釋、分析並歸納。在量 的分析方面,將各題項之「分數或排序」做集中量數與變異量數的分 析。

三、焦點團體法

焦點團體研究是一個謹慎規劃的系列討論,在一個舒適、包容、無威 脅的情境進行一系列的討論,以獲取人們對於一個特定的議題的觀感(洪志 成、廖梅花合譯,2003)。一般而言,焦點團體是由六至十二人組成的小團 體且具有同質性,係由一位訓練有素的主持人帶來準備就緒的問題,以引 發參與者的反應,目的在於引發參與者對經過選擇出來探討主題的知覺、

感受、態度與想法。焦點團體最常被使用在探索性研究,焦點團體訪談常 是研究的第一個步驟,接著的研究設計,在於使研究發現能精確化以及進 一步的獲得解釋(王文科、王智弘譯,1999)。其主要步驟如下(歐素汝譯,

1999)。

(一)界定問題:焦點團體並不是團體成員間任意的會話,它是有焦點,而 且也有清楚界定的議程(agenda)。界定問題時需要清楚地陳述想要的是 什麼樣的資料及該從那裡得到這些資料。

(二)確認抽樣架構:抽樣架構是指列出研究者有理由相信可代表大多數要 研究的母群體的人名(家戶,組織),這抽樣架構是這母群體(population) 的操作性定義。界定妥當的抽樣架構在大規範調查研究中的重要性遠 勝於在焦點團體研究中的重要性。

(三)確認訪談大綱及招募樣本:通常中介者的確認及訪談大綱的設計與焦 點團體參與者的招募(recruitment)是同時進行的。招募過程需要確認團體

聚會的時間和地點。若需特定的設施或設備,可能要指定特定類型的場 所(setting)。該場所必須被確認對可能的參與者(potential participants)是 地點適中之處。然後才開始接觸抽樣架構中的人,並要求他們在特定的 時間、地點參與此團體。他們通常會被告知該訪談的一般主題,因為這 會激發他們的興趣並增加他們參與的可能性。此外,通常會提供參與者 參與的誘因(incentive)。

(四)資料分析及撰寫報告:中介者引導團體討論訪談大綱中的問題,並促 使所有團體成員討論,此討論可能被錄音或錄影以便日後的分析。焦點 團體研究的最後階段是資料的分析、解釋及報告撰寫。

四、階層分析法

階層分析法是1971 年由美國匹茲堡大學教授 Saaty 所提出,經過不斷 的修正、應用與整合,於 1980 年提出完整的方法論並出版《層級分析程 序法》(The Analytic Hierarchy Process)一書。層級分析法主要是運用系統的 方法匯集專家學者的意見,將錯綜複雜的意見轉化為簡明的層級結構,以 比例量尺並同時考慮質與量的變數,將方案主觀模糊的評價予以量化,建 立 成 對 比 較 矩 陣(Pairwise comparison matrix) , 據 以 求 得 特 徵 向 量 (eigenvector),作為層級中各變項的優先順位,得到方案的相對權重、優先 順序與邏輯一致性(孫志麟,1998)。層級分析法在理論上與實際上仍有一 些缺點有待修正與改進,諸如:判斷尺度有爭議、邏輯性欠佳、評估尺度 過於主觀瑣碎、標準化方法遭質疑、各層級間缺乏獨立、問卷設計太繁雜 等(王建正,2002;陳啟榮,2003)。然而 AHP 最大的特色在於能將複雜無 結構的問題予以層級化、結構化,便於決策者對各種可行方案進行整體的 分析進而獲致合理的決策。因此,自發展以來已被廣泛地加以應用。一般 而言,AHP 可應用於設定優先順序、規劃替代方案、選擇最佳方案、決定 問題需求、成本效益分析、資源分配、預測結果、績效評估、系統設計、

解決衝突等(李隆盛,2004)。

- 74 -

層級分析程序法的流程,可細分以下八個步驟(吳清山、黃美芳、徐緯 平,2002;王建正,2002;陳啟榮,2003;孫志麟,1998):

(一)界定問題與羅列指標:先界定問題,方能瞭解研究之目的不致於悖離 主題。其次依問題特性及文獻探討結果找出可能的影響因素(指標), 在列舉指標時可運用德懷術對專家學者之意見做彙整並加以分類。

(二)建立層級結構:層級關係是整個 AHP 研究過程的關鍵,設計之良窳將 影響分析結果。層級之多少端視問題之性質與需要而定,唯每一層級 之要素不可超過七個且各層級之要素彼此間應獨立。層級結構之建立 應符合以下的原則:(1)各個層級之指標數以不超過七個為原則;(2)盡 量將重要性相近的要素(指標)放在同一個層級;(3)同一層級內的要 素彼此力求獨立。

(三)編製調查問卷:一般而言,AHP 是以問卷調查的方式來蒐集意見,透 過指標各層級及層級內指標群的兩兩成對比較項目,讓填答者以成對 比較的尺度勾選意見和看法。調查問卷採用名義尺度,劃分為同等重 要、稍重要、頗重要、極重要、絕對重要等五項,分別賦予1、3、5、

7、9 的衡量值;另外再加上四個介於上述五個量尺之間的折衷值,分 別賦予2、4、6、8 的衡量值,合計有 9 個相對強度。如表 2-2-2 所示:

表2-2-2 AHP 法的評估尺度與說明

評估尺度 定義 說明(A 與 B 之相對重要性強度)

1 同等重要 等強:A 與 B 對該目標有相同貢獻。

3 稍重要 稍強:評比者認為A 較 B 稍重要。

5 頗重要 頗強:評比者認為A 較 B 為頗重要。

7 極重要 極強:對A 有強烈偏好。

9 絕對重要 絕強:A 之重要性絕對凌駕於 B。

2、4、6、8 相鄰尺度的中間值 需要折衷值時。

資料來源:吳萬益、林清河(2000),P.459。

(四)建立與分析成對比較矩陣:根據問卷取得各項要素間的相對重要程度 結果,接著建立成對比較矩陣。建立的方法是以每一層的評比要素做

為基準,並以其所屬之下一層的幾個評比要素,進行兩層比較,形成 成對的評估值,研究者必須進行C(n,z)=n(n-1)/2 次的成對比較。

(五)計算優先向量(Priority Vector)與最大特徵值(Maximized Eigenvalue):獲 得成對比較矩陣後,即可求取各層級要素的優先向量及最大特徵值。

(六)一致性檢定:一致性檢定的目的是檢定評估者在整個評估過程中,所 做判斷的合理程度,即檢定評估者在進行成對比較時,對各項要素間 權重判斷的一致性,以確定其判斷結果的可信度。在AHP 中,成對比 較矩陣一致性的檢定,包括一致性指數(Consistency index,CI)、一致 性比率(Consistency Ratio,CR)和整體階層一致性指標(Consistency

(六)一致性檢定:一致性檢定的目的是檢定評估者在整個評估過程中,所 做判斷的合理程度,即檢定評估者在進行成對比較時,對各項要素間 權重判斷的一致性,以確定其判斷結果的可信度。在AHP 中,成對比 較矩陣一致性的檢定,包括一致性指數(Consistency index,CI)、一致 性比率(Consistency Ratio,CR)和整體階層一致性指標(Consistency