績效指標之建構與操作型定義

本研究係運用德懷術調查法來建構「我國大學績效指標」。茲分別就 德懷術調查法之簡介、諮詢委員之組成、研究工具之設計，與大學績效指 標之操作型定義說明於下。

壹、德懷術調查法之簡介

林生傳（2006：182）指出，德懷術調查是一種藉由書面問卷往返於 調查者與被調查者間之訪問調查，兼具會議討論與問卷調查之優點。德懷 術適用於調查主題具有不同面向、見仁見智的問題，或一般人仍不太熟悉 卻又期盼知道之題材，故調查對象通常是對主題具獨到見解的學者專家，

或熟悉實況的參與者。總之，德懷術係藉由匿名的書面溝通方式，讓填答 者能在獨立自主且無壓力的情境下對研究問題表達意見，而不需擔心受到 權威的影響。經由多次問卷的統計結果與意見回饋，參與者可重新思考問 題，並自行決定是否修正前次看法，如此重複實施，直到參與者建立共識 或意見反應達到某種程度的穩定為止。

由於德懷術之研究設計為一種反覆的過程，因此研究中會設定幾個階 段（stages）、循環（rounds），或回合（runs）。歸納不同學者之建議，將德 懷術之實施步驟說明如下（林生傳，2006：182-184）：

一、選擇適當的題目：採用德懷術調查之研究題目通常是較為新穎、一般 人無法回答，或爭議性較大、見解較為分歧的主題。

二、選定一組專家學者實施調查：所選的樣本通常是對該研究主題學有專 精或具有經驗，能夠提供獨到見解的學者專家或實務工作者。在專家 人數方面，傳統上均採取小樣本，但可以依據研究目的加以調整。一 般而言，約在 10 至 30 人左右即可，且因需要數次書面往返，故應找 較能配合研究之人士，並應於邀請時即說明研究目的、需求，與作業 流程。Dalkey（1969）認為若德懷術專家成員在 10 人以上時，可將成 員間的誤差降至最低，信度亦相對提高。Delbecq（1975）則主張，若 德懷術專家成員之間的同質性較高時，成員人數最好介於 10～30 位；

若同質性較低時，則可介於 5～10 位。

卷，並視情況實施數回合之問卷調查，傳統德懷術調查法各回合問卷 調查內容包括：

(一)第一回合問卷：開放式問卷，請專家諮詢委員表示意見。

(二)第二回合問卷：將第一回合問卷資料摘成重要之若干題目，按隨 機排列，分成選項或五點量表，寄予委員提供意見。

(三)第三回合問卷：將第二回合問卷資料作初步統計分析後，再寄予 各專家諮詢委員瞭解其個人意見與團體意見之差異，俾提出簡要 解釋或將不一致意見列表。

(四)第四回合問卷：可提出團體最後一致性看法，以獲致最後結論。

德懷術雖被廣泛運用於各類議題之討論與彙整，惟實施時仍存在耗費 較長時間之缺點，故實務上常於考量時間、空間、人力與經費等客觀因素 之限制後，對傳統德懷術之實施程序酌予調整，另以「修正型德懷術」

（Modified Delphi Technique）取代。德懷術常見之修正方式有二：

一、省略第一回合開放式的徵詢步驟：為了減少因問卷多次往返耗時耗力 所造成問卷回收率愈來愈低的情況，研究者依據文獻探討成果或依研 究者之經驗預先擬定各項題目，直接發展出結構性調查問卷，取代傳 統採開放式問題徵詢專家意見的作法。此種修正型德懷術作法除了可 以節省問卷往返時間與費用外，更重要者，結構性調查問卷能夠讓專 家諮詢委員立即將注意力集中在研究主題上。

二、合併第三回合與第四回合問卷：亦即研究過程濃縮為三階段，將第二 回合整理之結果寄予各專家諮詢委員，請專家依照研究者之分類項目 進行「適切性」與「等級」評量，節省一次再審視的時間。

至於專家諮詢委員是否達成共識之界定，一般而言，若是要達成共 識，通常需要二～三回合之問卷調查。Wicklein（1993）認為，通常德懷 術調查問卷大體實施三回合，但若第一回合採取結構式問卷，則即使僅進 行二回合問卷也可達成共識，端視問題性質與研究設計而定。

貳、諮詢委員之組成

德懷術專家諮詢委員人數究竟多少人較為合適，在學理上並無絕對之 限制或定論。此外，諮詢委員通常是對該研究主題學有專精或具有經驗，

能夠提供獨到見解的學者專家或實務工作者，也必須囊括代表各種不同見 解的人物，所得的結果才能集思廣益並具全面性。基於此，本研究德懷術 問卷調查部分之意見徵詢對象，擬包括對「大學績效指標」或「政府經費 分配」有深入研究者，並採取立意抽樣（purposed sampling）方式來進行 樣本之選取。

研究者首先請國內教育界相關領域之資深學者推薦適合擔任委員之 名單共 30 人，經過電話聯繫徵詢具參與研究意願之專家後確定名單為 24 人，包含：一、教育行政主管機關行政人員 8 人，其中包括目前或曾經服 務於教育部之主管人員，如部長、次長、司長或副司長；以及服務於教育 部管轄之財團法人高等教育評鑑中心基金會之主管級人員。二、公私立大 學校院資深教授 8 人；三、現任或曾任公私立大學校長 8 人。

確定德懷術諮詢委員名單後，研究者事先以電話與專家取得聯繫，在 獲得每位德懷術專家同意後，詳細介紹本研究之研究目的與德懷術進行程 序，再將設計好的問卷連同附加說明依委員需求親自遞送或採郵寄方式分 送每位德懷術諮詢委員。德懷術諮詢委員可以用匿名的方式對各項問題做 出判斷並提出意見，在進行過程中，每位德懷術諮詢委員並不知道其他參 與研究之專家名單。

各次問卷回收後，研究者隨即將每位委員的意見做整理歸納並進行統 計分析，同時研究者也依委員意見適當修改原問卷。前述分析結果將連同 第二回合問卷分送給各德懷術諮詢委員，請委員參考其他委員意見後，進 行第二回合填答，直到委員之間達成一定程度之共識為止。

參、研究工具之設計

本研究在歸納整理國內外相關文獻後，先擬定「我國大學績效指標項 目調查問卷」作為實施修正型德懷術第一回合之調查工具，其後再根據第 一回合調查結果進行修正，研擬出第二回合之問卷並實施調查，最後提出 團體一致性看法，以獲致最後結論。問卷填答採用李克特氏（Likert）五點 量表評判各項指標之適合程度，「5」代表非常適合，「1」代表非常不適合，

中間分數則按適合程度，分別以「2、3、4」加以評定，數字愈大者表示 適合程度愈高。填答者亦可在各題項之意見說明欄中，表達任何與指標有 關之增修意見。

在調查問卷指標之擇取上，本研究以第三章第四節所彙整之美英中三 國常用之績效指標為基礎，並考量下列原則後，初步建構適用於我國之大 學績效指標。

一、指標項目不宜過多：從本研究前述文獻探討中，可知當指標愈多時，

個別指標所代表的重要性就愈低，因此國內外學者研究成果之次要或 參考指標，原則上不納入本研究初擬之績效指標中。此外，若指標項 目性質相近者，亦將其合併為同一指標。

二、考量本國國情：如美英兩國十分重視之入學管道的公平性與學生負擔 能力與輟學率等構面之指標，在國內大學績效指標之相關研究中則較 少出現或被列為次要指標，故本研究亦不列入初擬之績效指標中。

三、數據資料之可取得性：因各指標量化數據的可取得性將影響績效指標 的發展和執行，由於我國尚未建立全國性的高中生畢業考試（例如美 國之 SAT），且目前大學招生已改為多元入學方式，相關量化數據資料 之取得有困難，故本研究亦不採用學生素質構面之指標。

四、加入其他重要指標：例如近年爭議頗大之 SCI、SSCI、EI 與 AHCI 期 刊論文篇數，以及漸受重視之期刊論文被引用次數，在前述美英兩國 文獻中雖未出現，且自 2008 年度起已從我國私校獎補助作業之獎助指 標中被剔除，但本研究暫先列入初擬指標，再由專家共識決定取捨。

綜上所述，本研究初擬之績效指標首先依向度分為投入與產出指標，

再按其範疇分為教育資源、教師素質、行政支援、教學成果、學術研究與 社會服務六大構面，最後又各自細分為若干績效指標。

肆、我國大學績效指標之操作型定義

構面 指標 出處

構面 指標 出處 取得大學證書學位及文憑人數

美州層級

美 Measuring UP 2000 英 HEFCE

取得學位時間 美州層級、美維吉尼亞州

美 Measuring UP 2000

畢業學分數 美州層級 美 Measuring UP 2000

退學率 簡茂發和李琪明(2001)主要

構面 指標 出處

美 Measuring UP 2000 從二年制大學的轉學生人數 美維吉尼亞州 18-24歲學生取得高中文憑之比例 美 Measuring UP 2000 9-12年級學生修習高級數學與數學比例 美 Measuring UP 2000 學生素質

8年級學生全國數學、閱讀、寫作測驗達精熟比例 美 Measuring UP 2000

構面 指標 出處 18-24歲就讀大學人數 美 Measuring UP 2000 25-44歲社會人士部分時間進修人數 美 Measuring UP 2000 轉學容易度與次數、學生成長率 美州績效補助計畫 就讀四年制公立大學所支付費用佔家庭收入比例 美 Measuring UP 2000 就讀四年制私立大學所支付費用佔家庭收入比例 美 Measuring UP 2000 州政府補助低收入家庭比例 美 Measuring UP 2000

入學成績作為判斷品質高低的指標，但英國HEFCE則未採用這方面的指

範疇 指標項目 操作型定義