研究檢討

（一） 模糊德爾菲法專家問卷

本研究採用模糊德爾菲研究法，此研究固然擷取問卷調查和會議兩者之優點 於一種，然而在實施上亦遇到如學者吳雅玲（2001）、劉協成（1996）、徐村和（1998）

等提到的一些困難：

1. 不易控制研究進度

因模糊德爾菲法需取得專家共識，一般而言需進行兩次問卷，本研究因有「待 修正」指標需再度詢問專家意見，故發放第三次問卷，問卷發放的次數越多，會

134

拉長整個研究進行的時間，不易控制研究進度。

2. 反覆進行讓專家感到疲乏

本研究進行三階段模糊德爾菲法問卷調查，總耗時將近四個多月的時間，問 卷內容除了「指標重要性」勾選之外，尚有開放式欄位供專家針對指標和評分規 準進行修改與意見回饋，專家需耗費大量時間與精力填寫問卷。研究者發現在第 一階段問卷專家發言非常踴躍，至第二階段問卷後，雖然部分指標模糊值下降，

但表達意見的專家人數變少。雖然專家可能因意見趨於一致，故提供較少意見，

但推測也有可能是因問卷次數較多使專家感覺疲乏所致。

3. 彙整專家意見一致的過程，仍然有模糊性

進行三階段模糊德爾菲法問卷調查時，「指標重要性」的共識由於有「模糊 數值」可參考，較明確知道指標需保留或是刪除；在指標與評分規準的修正意見 上，則是以專家提供的質性意見回饋為主，雖然本研究參考 Murry and Hommons

（1995）所提，同一題若有超過參與專家人數之 20%對該題項提出意見變動，則 建議修正或刪除。但若是遇到專家對於某些指標意見產生分歧時，修改的依據為 何？研究者後來係根據同樣意見專家數量的多寡及研究者自身經驗，在盡量兼顧 各專家之看法之下進行取捨。

（二） 評分規準建構上所遇到的困難

評分規準是使用描述性文字來對每一個層級下定義，Giselle（2002）和 Lane

（2007）提到在發展評分規準時，要避免使用比較性的文字來區分不同的層級，

例如：「正確」與「有一點」正確，然而，這個部分是本研究需要再加強的地方。

若未來要實際使用本研究所發展之評分規準，研究者建議可參考 Andrade

（2000）與 Giselle（2002）的作法：

1. 展示作品範例

提供學生各等級作品的範例，並說明教師高品質作品所需達到的標準。本研 究之評分規準主要將每個指標區分成四個層級，每個層級有不同的文字說明，教 師可事先將範例作品進行評分，並註明此作品在不同的指標分別是在哪些層級，

以供學生做參考。

2. 與學生一起討論評分規準

評分規準的發展會依對象不同而有所差別，教師可以本研究之評分規準作為

135

範本，和授課學生一起思考該如何為專題課程進行評估。

3. 不斷修正

評分規準需經過不斷的修正與改進，才會越來越實用，使用完本研究之評分 規準後，可評估評分規準的向度、表現標準或評分量尺是否需要調整。

136

137

第五章 結論

即將於 107 學年度實施的十二年國教新課綱將「專題研究」納入「校定必修」

課程。專題研究對高中生而言是相當抽象的概念，進行專題研究讓學生藉由做中 學的過程培養高層次的能力，但相對而言，學生也遇到許多挫折，故研究者希望 發展一套高中地理科適用的評量指標與評分規準，不僅提供教師評價學生能力的 依據，也讓學生能有一個可依循的能力規範。

本研究制訂的模糊德爾菲法問卷中包含五個向度、22 項指標，每項指標的 評分規準則分為四個層級；所採用之「保留」或「待修正」的門檻值則為 3.5。

經 27 位專家進行三階段的填答後，於第一階段問卷結束後建立 25 項指標，於第 二階段問卷結束後建立 25 項指標與其評分規準，於第三階段問卷後，建立 25 項指標與 6 項「重要次指標」。本章根據結果與討論，做一綜合性的描述並歸納 出結論、提供建議，作為未來本評分規準實際實施之參考。

本研究根據模糊德爾菲法三階段問卷結果，再參考國內地理競賽評分標準、

新加坡 Higher 3 地理專題課程考試評分規準、地理奧匹作品分析與專家的建議進 行修正，最終得到五個向度共 25 項指標的評分架構(表 4-9、表 4-13)，以及相對 應的評分規準。五個向度各包含 3-7 項指標不等，「向度一：研究主題與文獻回 顧」（20%）有 7 項指標、「向度二：研究方法：資料的蒐集、選擇與紀錄」（20%）

有 5 項指標、「向度三：資料分析與評估」（30%）有 3 項指標、「向度四：結論

（建議）與參考文獻」（20%）有 6 項指標、「向度五：報告的呈現」（15%）有 4 項指標。評量指標指的是評定「專題研究」的具體文字描述，每項指標又訂有評 分規準，分為優異、良好、尚可、待加強四個層級，每個層級都有針對該指標的 具體文字描述，教師在使用本研究發展之「高中地理專題研究評量指標與評分規 準」時，可藉此判斷學生的專題作品符合每個指標中的哪個層級。

五個向度總分相加達 105%，但評分規準的配分不一定要百分比制，且尊重 本研究所彙集之專家意見，維持此配分結果。若實務有需要時，可依比例轉換為 百分比制，再予微調至整數即可。而且評分量表的四個層級，未必要以優異（4 分）、良好（3 分）、尚可（2 分）、待加強（1 分）這樣配分，可以五大向度 之間的配分比例為原則進行調整，也可依比例轉換為百分比制，再進行指標細項 的配分。

25 項指標與其對應的評分規準依照模糊數高低可分為：指標重要性最高、

138

指標重要性次高、指標重要性略高於門檻、指標重要性在第二階段有下降、指標 重要性最低五大類別（表 4-14），其中指標重要性最高的指標有九項、次高的指 標有四項，是一般專題報告皆必備之項目，例如指標「4-1 結論緊扣研究目的，

且有證據支持」。其次指標重要性略高於門檻有兩項、指標重要性在第二階段有 下降的指標有四項，主要是專家仍對指標或評分規準有較多意見，例如「1-7 廣 泛蒐集各種不同來源之有效的(與研究主題相關的)文獻」與「3-2 能對蒐集來的 資料進行評估與分析，並釐清研究問題」。指標重要性最低的指標有六項，即在 第一、第二階段問卷時「指標重要性」最低的「待修正」指標，經第三階段問卷 後，專家又認為應該保留的。這些共識度較低、爭議性較大的指標，大致可分為 三類：「該指標超出高中生能力範圍」、「該指標的評分規準四個層次之間較難區 分」或「該指標不見得每個研究都需要」。

本研究所提出的高中地理「專題研究」評量指標與評分規準，並非唯一標準，

而是一個參考模版，如同 Moursund（1999）提到專題導向學習（PBL）具有一 定的評分標準與評分量表，教師和學習者於專題導向學習發展過程中，共同協定 適合的知識、技能及情意評分標準，最後發展適用班級的量表，進行專題導向學 習的評量。故各校老師宜根據該校主客觀條件，包括學生特質、「專題研究」的 目標與授課時數、實際施行狀況等，制訂一套符合切身需求的評量指標與評分規 準，以增進高中地理專題研究之教與學的成效。

139