第三章 研究設計
第一節 研究方法
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
第三章 研究設計
本研究旨在建立「我國大學學生評鑑教師教學指標」，主要採取內容分析及 概念構圖法為主要方法。首先就泰晤士世界大學排名 2012-2013(THE World University Ranking 2012-2013)排名前 20 之學校中挑選教學(teaching)一項評分較 高者進行文獻探討，接著以概念構圖法整合高等教育專家學者對指標的分類，以 建構我國大學適用的評鑑教師教學指標構面，並探討專家學者對指標的重要性之 評估，求得各指標及構面之權重，以完成我國大學學生評鑑教師教學指標建構。
本章共分為五節，目的在於陳述本研究所運用之研究方法與實施程序，第一 節為研究方法；第二節為實施程序；第三節為研究工具與對象；第四節為資料處 理與分析。
第一節 研究方法
大學學生評鑑教師教學，旨在衡量大學教師教學是否達到課程預期目標及學 生學習需求。本研究整理國外大學學生評鑑教師教學相關文獻，初步擬定我國大 學學生評鑑教師教學指標，再透過概念構圖(Concept mapping)彙整專家學者對我 國大學學生評鑑教師教學指標構面及指標權重之共識。
壹、 概念構圖
本研究採取 Trochim 與 Linton (1986)所提出的概念構圖法(concept mapping)，
即利用概念圖及其他能夠象徵和解釋各樣觀點的圖形方式，以及多元度量法與集 群分析等兩種多變量統計分析技術，共同應用在分析這種圖形所提供的訊息和結 果上，以具體的操作型定義步驟方式和衍伸之概念表徵來形成結構化的概念之目 的（余民寧，1997；吳政達、郭昭佑 1997；Trochim & Linton, 1986）。概念構圖 法之內涵符應第四代評鑑與學校本位的多元參與及溝通對話之精神，亦即在指標
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
72
建構時，期望與評鑑客體或評鑑結果有關的利害關係人共同參與，茲將其步臚列 如下（吳政達、郭昭佑 1997；Trochim & Linton, 1986）：
步驟一：準備
進行概念構圖程序之前，有兩件事情：(一) 主事者必須決定何人參與此程 序，以利概念具體化。有關選擇參與者部份，應注意廣泛的邀請各種不同領 域的相關人員，以廣徵意見，其總人數通常以 10 至 20 人為原則。(二)發展概 念形成的焦點，此可區分為腦力激盪的焦點與評定的焦點：
1. 腦力激盪的焦點：將所有參與者集中起來，針對某個主題概念，以腦 力激盪方式，集行大量的觀點陳述。
2. 評定的焦點：要求所有參與者針對剛才以腦力激盪方式陳述出來的意 見，進行評定等級，常以五點或七點量表的方式評定。
步驟二：產生意見
透過腦力激盪法(brainstorming)促使產生大量與概念有關的意見，此階段不 加以批判，也不討論所提出之意見。但參與者可要求對於任何不熟悉的用語或者 專業術語要求提出說明，並且將所有人的意見記錄於卡片上或者是直接輸入電腦，
讓所有與會者得以視之。經驗上通常以不超過 100 個意見為準，此數量的決定 可視個人能力與電腦容量而彈性決定並且有所彈性。
步驟三：意見結構化
將全部意見寫於索引卡片上，給每人一份完整的卡片，接著要求每人進行分 類。
其分類原則有三點：
1. 每一個意見只能歸於某一類別 2. 不能將所有意見通通歸於一類
3. 不能將所有的意見各自獨立歸成一類
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
73
然後將每一個人的分類結果形成一個二元對稱相似性矩陣(binary symmetric similarity matrix) 。矩陣中的元素為 0 或 1，當行與列的意見不同類時填入 0，若 行與列的意見歸為同類時填入 1。其對角線均為 1，因為本身與本身的意見必屬 同類。在將所有人的分類結果合併成一個矩陣，其方式為將所有矩陣相對應的元 素相加，數值越大代表越多人認為該行與列所呈現的意見同屬一類；反之，數值 越小，則代表較少人認為該行與列所呈現的意見同屬一類。接著針對所有的意見 採用李克特量表（如五點或七點量表）評定其等級，另以算數平均數整合眾人所 評定的等級為一數值。
步驟四：意見呈現
利用多元度量法（multidimensional scaling，簡稱 MDS）(Davison, 1983) 將 意見予以繪圖方式呈現，通常以非計量多元度量法加以計算，採取兩個向度將所 有意見標示於平面上（一個意見給予一個座標點）。接著根據多元度量法所求得 每個意見點在兩個向度構圖上的座標，利用集群分析法(cluster
analysis)(Anderberg, 1973) 將意見加以分類，建議採用階層集群分析華德法 (Ward’s Method)計算分群，分群數以 3 至 20 群居多。最後再將評定等級值繪製 於各點及各群的圖上。
步驟五：圖形解釋
此階段主要的工作係針對以下各個項目進行解釋：
1. 意見清單：即由所有參與者所提出的原始觀點的彙整清單。
2. 集群清單：經由集群分析後，歸歸為同一群內的所有觀點清單。
3. 各意見點繪圖：經由多元度量法分析後所得各意見點之構圖，研究者 可加以編號以利於解釋。
4. 各意見分群繪圖：經由集群分析所呈現之分群構圖。
5. 各意見點評定等級繪圖：即已經計算出平均評定值的分群評定構圖。
前述後四種概念圖明顯的採用不同的方法，描述或呈現此概念結構的多種面
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
74
向。其中以分群繪圖最為直接，各分群名稱的命名可透過集體協商的方式進行。
步驟六：圖形利用
概念圖可提昇計畫或評鑑的成效，為其使用上之限制需仰賴團體的創造力與 動機。由於概念圖可瞭解各分群的子概念，有利於針對各分群之特性給予適當的 資源或採取恰當的策略。
貳、 概念構圖步驟之修正
本研究之指標的構面與權重之建構，乃取概念構圖之長處，以達本研究希望 納入高等教育教學評鑑專家學者、大學教師及學生代表一同參與發展國內大學學 生評鑑教師教學之目的。
然而在指標建構上，為求更貼近現場所實施，故修正以上步驟一：準備，及 步驟二：產生意見之程序內涵，以文獻探討方式，透過整理 6 份國外教育評鑑機 構，以及 12 所知名高等教育機構所使用之高等教育學生評鑑教師教學量表，以 滿足具教學及教學評鑑經驗之需求，進而產生本研究之國內大學學生評鑑教師教 學指標。本研究透過 The Concept System 軟體 4.0 版、SAS 軟體 9.3 版進行資料 分析求取意見之結構化，並尋找最適合之分類數目，並取得專家分類之結果，進 而呈現各構面及指標之權重。繪製概念構圖之集群構面圖，以達到：
1. 鼓勵參與者團體專注於工作，並且快速地產生一個概念架構，以供作 計畫或評鑑之用途。
2. 此作法以參與者的語言來表達整個概念架構，而不是以研究者個人或 學術理論的語言來表達。
3. 可產生一種圖形表徵，以供讀者一目了然該圖中的主要觀點及其相互 間的關係。
4. 此圖形易為所有參與者接受和理解，也可以利於對大眾解釋。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
75