大學系所質性評鑑為質性研究的一種，在 Creswell 與 Miller（2000）
的架構下，外部專家可視為主體，大學系所是客體。在這過程當中，透過 主、客體之間的互動，外部專家蒐集分析了多種資料，建立了系所教育品 質的質性論述。雖然大部分系所認同系所評鑑的品質，平均申復比例 37，且有逐年下降的趨勢（高教評鑑中心，2012），但為精進評鑑品質，
本研究參考質性研究的信實度觀點，探討影響系所評鑑品質的可能原因。
一、影響系所評鑑品質之可能原因
（一）部分評鑑資訊的確實性及可靠性不足
質性研究注重資料的三角檢證，提高研究結果的信實度，而我國系所 評鑑運用了此概念設計評鑑機制，從多種資料來源、多樣資料類別、多位 研究者等蒐集學校表現資料（Denzin, 1978; Greene, 2011）。實際的執行 上，第一是以蒐集多種方法蒐集資料，包括：大學自評報告、文件檢視、
座談、晤談、現場教室觀察等方法；其次是多種資料來源，盡可能地囊括 所有關係人的意見，包括行政主管、教師、職員、學生、畢業校友、及畢 業生的雇主，由不同角度檢視學生學習成效。第三是多位評鑑者共同檢視 與詮釋質性資料，避免個人意見影響評鑑結果，實地訪評小組委員為 4 至 6 人。
雖然以三角檢證的方式設計系所評鑑的資料蒐集，但本研究發現，資 料的確實性與可靠性仍然是申復的重要議題。大學申復最常見的內容，是 認為外部專家需要更多確實有效的資料，因此傾向於提供更詳盡的資料說
明辦學成效，或是以詳細的評鑑推理說明該系的課程設計、教學及學習成 效。然而，提供更多的資料卻不一定獲得外部專家的認同，因為所提供的 資料未必全然是確實、可靠的資料，例如：提供的數據或作法並不在評鑑 所規範的時間範圍（確實有效的資料需要在實地訪視的前兩年半至前半 年）；相對地，系所也對訪評報告資料的確實性與可靠性提出疑問，認為 外部專家訪談的抽樣有偏差、或是評鑑結果的判斷過於重視晤談而忽略其 他形式的資料。
上述分析印證了 Abma（2006）質性評鑑的價值觀威脅。由於質性評 鑑是一種知識建構的歷程，在資料詮釋與評鑑結果判定的歷程中，會因為 個人價值觀而有不同的解讀。因此，質性評鑑不應追求客觀中立的事實，
而是需要強調評鑑的詮釋與推論的確實性（Greene, 2011; Kane, 2006）。
然而，本研究的結果顯示，系所認為的確實有效的資料，在專家的眼中不 見得成立；而專家認為透過晤談及書面資料等多種資料，應足以讓學校接 受評鑑結果，但是結果卻不然，因此仍然需要加強資料的信實性。
（二）部分訪評報告未能確實掌握情境脈絡的意義
我國系所評鑑為了重視大學的情境脈絡，在評鑑中特別設計了三種機 制。第一，實地訪評專家的專長必須與受評系所相同或密切相關，以確保 背景訓練類似，能從相同的著眼點考量。其次，系所可根據該校特殊情境 自訂教育目標，據以規劃課程與教學，以達到預定的學習成效；而外部專 家依循各校目標檢核成效，不做學校之間的比較。第三，各系所於實地訪 評前進行自我評鑑，並將結果送交實地訪評小組。透過系所內部觀點，充 分表達執行情形及所處脈絡，提供專家參考。
雖有上述設計，但是申復結果顯示，系所希望專家考量學校情境脈絡 的比例仍然不低。前述文獻指出，質性評鑑的威脅是未能充分考量情境脈 絡（House, 2011），以及缺乏長期投入與互動（Greene, 2005）。質性研 究重視情境脈絡的意義掌握，研究者能夠從被研究者所處的情境，詮釋其 行為及表現。然而，根據社會建構理論，人的行為是社會文化下所產生，
對於外界現象的詮釋與判斷，不免會涉入自身的價值觀，因此需要藉由不 斷的對話與辯證，產生接近被研究者認同的詮釋。但是反觀系所評鑑的實 地訪視，為期 2 天，時間短暫，而且資料多為片段結果，無法完整呈現所
有歷程，導致影響外部專家的判斷。此外，系所與專家的會談，是在非自 然情境、面臨被檢視壓力下的互動，其真實性及情境脈絡考量的困難度，
比一般自然探究的質性研究要高。
（三）雙方意見的往返未能充分對焦
質性研究中，重視的是研究者長期沉浸於研究現場，與被研究者有充 分的觀察與溝通。我國系所評鑑的機制設計上，有三項設計，增進系所與 外部專家之間的溝通。首先，在實地訪評前，外部專家可以針對系所自我 評鑑報告書，提出待釐清問題，而系所可在實地訪評前，針對問題特別備 齊相關資料，以供外部專家檢視。第二，實地訪評期間，外部專家可透過 多種形式與評鑑關係人溝通，包括：座談、晤談、或是教學觀察等。第三，
是外部專家若對某部分資料有問題，可以直接請學校相關人員進到訪評現 場，進行面對面的溝通。雖然有多種溝通管道的設計，但是本研究結果顯 示，大學系所與外部專家的意見往返仍然存在一些問題，歸納為兩種：首 先是雙方關注的議題未能對焦，從委員認為主要原因是：學校對訪評意見 的曲解、或是答非所問。其次是雙方關注的議題能夠對焦，但是看法不同，
學校的主要考量是訪評建議難以執行，而委員則認為學校提供的資料不充 分。
前述文獻指出，質性評鑑的信實度應以推論的品質進行判斷，研究方 法上應以開放性觀察、詳細厚實的描述（Creswell & Clark, 2007），顯示 出概念的一致性、詮釋的同意度、以及以情境意義理解因果關係（Teddlie
& Tashakkori, 2009）。本研究結果發現，專家與系所人員雙方互動時間較 少，而且溝通形式以書面資料居多。雖然實地訪評可以直接進行外部專家 與大學人員的直接溝通與釐清，但由於行程安排十分緊湊，再加上資料繁 多，需在短時間之內翻閱，因此不容易有充分的溝通，大部分有賴於書面 資料的說明。然而，書面表達表達有其限制，從文字推測對方的想要表達 的意義，若無豐厚的描述，容易有所誤解。未來是否能在時間與經費的考 量之下，如何增加外部專家與學校的互動，讓雙方的意見往返能夠對焦，
這將是一個重要議題。
（四）部分訪評報告結論的合理性可再增加
質性評鑑不同於一般質性研究，在於必須做出判斷並且提供改善建 議，因此評鑑報告的結論十分重要。本研究發現，雖然大部分學校認同訪 評報告的結論，但仍有部分結論未獲得認同，如：學校認為結論難以達成、
或不符合學科特性。然而，訪評結論為系所辦學改善所依據的重要外部意 見，而且會被持續追蹤改善情形，甚或影響系所的未來發展方向。
前述文獻指出，質性評鑑有情境脈絡威脅，以及缺乏長期投入與互動 的威脅。若希望評鑑是有建設性的，唯有長期投入了解受評系所的立場與 情境脈絡，考量系所可運用的資源，促使評鑑結果的運用，並且不斷地回 饋改進。「評鑑產生使用」近年來受到評鑑社群的重視（Mark & Henry, 2004;
Patton, 2008），而效用性標準也是教育評鑑標準聯合委員會的方案評鑑專 業標準之一（Yarbrough et al., 2011），可見評鑑需要在實務提供資訊給意 圖使用的關係人。評鑑不僅可以評估績效，也可促進學校整體發展，成為 組織內不斷提供改進回饋的重要機制。雖然評鑑有其改善的功用，但是，
大學評鑑產生評鑑結果運用的最重要關鍵，在於大學認同評鑑的結論，願 意運用評鑑意見進行回饋改善。因此，評鑑的結論若能以該校情境為出發 點，提出更具合理性的結論，將會大幅增加評鑑結果的運用性。
二、綜合討論
綜合上述，我國系所評鑑運用增進質性研究信實性的方法，有對應的 增進品質設計。然而，由於質性評鑑的品質，端賴專家對於質性資料的蒐 集、詮釋、及結果判斷，所以從專家執行評鑑的角度，系所評鑑面臨了四 項威脅，包括：未能考慮情境脈絡、檢視的是結果而非動態歷程、專家的 價值觀涉入、評鑑歷程缺乏長期投入與互動。本研究從前述的分析結果，
發現這些威脅的確出現在申復報告當中，造成質性評鑑的挑戰（表 4）。
首先，系所評鑑的設計運用了資料的三角校正的概念，以多種資料類 別、多方資料來源、多位評鑑者詮釋資料等方式進行。但是從前述的分析
表 4 比較一般質性研究增進信實度的方法、我國系所評鑑增進品質的設計及
程，增加專家的評鑑專業知能，能夠從利害關係人立場出發，多考量結論 的合理性，以增進評鑑結果的運用。
第四，系所評鑑運用多元方式進行專家與系所之間的溝通，但是，這 樣的設計仍然受到質性研究的威脅。由於系所評鑑溝通互動時間短、多為 書面溝通、或是多種溝通管道的設計仍有其限制，如：系所人員由於權位 不等，發言有所保留。因此，專家與系所雙方的溝通仍然有其限制。