研究方法

本節將說明本研究之研究方法，首先說明德懷術之設計與實施，接著說 明調查問卷資料處理及統計分析。茲分述如下：

壹、德懷術之設計與實施

本研究根據文獻分析結果，選擇Stufflebeam 所發展的 CIPP 評鑑模式，

參考美國高等教育標準促進評議會（CAS）於 2016 修正之「自我評量指 引」（Self-Assessment Guide, SAG）其中針對校園活動方案（Campus Activities Programs）所制定之 14 個自我評量項目，以及國內外評鑑相關研 究及評鑑指標，分為「背景」、「輸入」、「過程」及「成果」4 個評鑑類型並 擬定其操作型定義，編製成大學社團經營成效評鑑指標共39 項。本節重點 在說明德懷術之設計與實施，內容包含德懷術進行步驟、效度分析、德懷術 專家小組成員。

一、德懷術進行步驟

本研究採用德懷術進行數次問卷的填答，其主要進行步驟如下（吳雅 玲，2001；陳麗珠，1999；游家政，1996）：

（一）確定德懷術問卷

根據5 位專家學者，分別就德懷術問卷之題意表達、文字敘述完整性及 明確性，加以增刪潤飾，以確定德懷術問卷。

（二）遴薦德懷術專家小組成員

由於專家小組成員對研究議題的共識是使用德懷術進行研究的重要結 果，因此研究者必須設定選取研究對象之標準，根據吳雅玲（2001）觀點，

98

德懷術專家應具備下列幾項條件：（1）擁有研究相關領域之實務經驗及知 能；（2）具有參與此研究的熱誠與興趣，並與別人分享資訊的意願；（3）具 備紙筆溝通與參考統計資料的基本研究能力；（4）可以反映不同觀點的意 見。

由以可知，德懷術的成敗繫於專家小組成員是否有建設性意見的提供，

因此不採用隨機取樣法，而是依照本研究所定之標準加以立意取樣。

（三）設計與實施反覆性的問卷調查 1.第一回合問卷之編製與實施

第一回合之問卷基本上採封閉式問卷設計，請專家小組成員針對 評量指標作適切程度的排序，每一個評鑑類型皆分為評鑑指標及指標 配分兩部分。第一部分計有4 個類型及 39 項評量指標，並以 1、2、

3、4、5、6 等數值，評判其作為測量大學社團經營成效的評鑑指標之 適切度。其中數值6 表示適切度最高；數值 1 表示適切度最低。每一 個評量指標下方有一意見說明欄位，若專家小組成員評判適切度為 1、2 或 3 級，則請說明理由。第二部分是關於社團經營成效指標配 分，請專家針對配分建議提供意見。若專家小組成員認為配分需要調 整，則在下方欄位說明增減之理由。

2.第二回合問卷實施

第二回合德懷術問卷之各項指標內容整理自第一回合問卷之結 果，並附上第一回合問卷之敘述統計資料，包括評鑑類型（操作型定 義）、評量指標（包含保留原題意、依專家小組意見修正原題意及刪除 等三部分）、前次意見（指每位專家小組成員在第一回合德懷術問卷在 該題目之答案）、平均數（M）、標準差（SD）、眾數（MO）、四分差

99

（QD）、並附上本項評量指標編制之參考或引用文獻來源，最後請專 家小組成員針對修正後之評量指標作第二回合適切程度的填答。另外 關於各類型評鑑指標配分部份，亦附上第一回合之統計結果提供參 考，請專家小組成員再次填答適切之配分比例。

第二回合德懷術問卷內容，包括4 種評鑑類型、共 39 題大學社團 社團評鑑指標。填答方式同第一回合，以六點量表評判其作為測量大 學社團經營成效評量指標之適切程度，其中數值6 表示適切程度最 高、數值1 表示適切程度最低。根據德懷術之設計，此回合是專家小 組成員間對話的開始，亦是作為研究者判斷專家小組成員對評量指標 是否達穩定狀態的評估基準。如此反覆持續進行至專家們意見趨於一 致為止。而專家群對於研究主題共識性達成的判斷標準，則是由研究 者依研究需要自行訂定。

二、效度分析

德懷述問卷之效度部分，採用專家效度予以考驗，以瞭解德懷術問卷之 適切性。本研究專家效度共邀請5 位國內具有學生事務經驗及相關專業之專 家學者，有關專家效度名單詳如表3-3-1：

100

101

102

1.平均數（means, M）及標準差（standard deviation, SD）專家小組成 員對課外學習核心能力評量指標，每一項目專家意見的平均分數，

其值愈高表示此項目的適切程度愈高。標準差數值的高低，代表專 家小組成員對每一項目的意見是否趨於一致。

2.四分差（quartile deviation, QD）指在每個項目次數分配中，第 1 四 分位數及第3 四分位數之差的一半，用於了解專家小組成員意見的

本研究根據Faherty（1979）的觀點，以問卷評估等級十分之一的 值，即四分差小於或等於此值，作為判斷德懷術專家小組成員對於問

103

卷中，每項目的看法是否達高度一致性的依據。本研究問卷為6 點量 表，因此當該題目的四分差小於或等於0.6 時（QD≦0.6），即可判定 專家小組成員對該評量指標已達高度一致性。若四分差介於0.60 和 1.0 之間（0.6＜QD＜1），表示專家小組成員對該評量指標達到中度 一致性。若四分差大於或等於1.0（1≦QD），表示專家小組成員對該 評量指標未達成意見一致性。

3.本研究為達評量指標數量適中、指標內容具體適切、指標意義清晰 及不重複，根據平均數、標準差及四分差之數值及專家小組成員之意 見，採保留、修改及刪除等方式，逐步達成專家小組成員一致性共 識。

（1）保留條件：M≧5、SD＜1 且 QD≦0.6

（2）修改條件：M＜5 或 SD＞1 或 0.6＜QD＜1

（3）刪除條件：M＜5、SD＞1 且 QD≧1

貳、調查問卷資料處理與統計分析

本研究將在德懷術資料統計結束後，編制大學學生社團評鑑指標調查 問卷，進行全國各大專校院社團評鑑業務承辦人之調查。問卷調查結束後，

將回收之問卷資料進行編碼並輸入電腦，再以SPSS23.0 版進行統計分析。

一、資料處理

（一）登錄：將回收問卷的資料加以編碼並登錄。

（二）檢核：運用統計軟體篩除漏答之問卷，以減少答題者因漏答所造成的 研究誤差。

104

二、描述性統計

對於本問卷中各個構面，包括指標適用之社團類型、指標適用之評量 方法、各評鑑類型配分適切度及學校類型暨辦理社團評鑑狀況等進行敘述性 統計分析，以了解各校社團評鑑業務承辦人對指標之看法。

105