• 沒有找到結果。

學程評鑑(Program Evaluation)

 

重要參考文獻評述 

學程評鑑(Program Evaluation)

 

國內英語榮譽學程雖在某些大學行之有年,但各校對榮譽學程的定義與學程 的使命不見得有一致的解讀與看法,加以各校行政資源上的不同限制,學程 的理想與現實間恐有一段距離,需要相關行政決策者的取捨與在執行過程中 順應環境來修正。另方面,雖然國內英語教學相關研究在近年益見豐富,但 英語榮譽學程似是一塊未開發的處女地,鮮有深入的學術探討,實有必要進 行系統性的研究,期能貢獻於大學英語榮譽學程未來的發展。以下先將數個 學術資料庫蒐尋的結果大略以數據列出,再討論國內外相關文獻的內容。 

 

1. 全國碩博士論文資料庫:以「學程」不限欄位蒐索,得 29,215 筆,以「榮 譽學程」、「英語學程」、「英文學程」、「英語榮譽學程」蒐尋則大幅減少,

分別得到 0,  5,  1,  0 筆資料,其中僅有 1 筆屏東教育大學教育行政研究所 的博士論文「科技大學英語教育政策執行之研究」在主題上與本研究較 相近,此外資料庫中再無大學英語學程的相關研究。 

2. 國科會計畫查詢:以「學程」為關鍵字,於 78~101 年間查得 177 筆計畫,

限縮至人文及社會科學類後剩下 23 筆,其中屬教育學的有 17 筆,語言 學僅 1 筆探討跨系翻譯學程,此外資料庫中再無大學英語學程相關的研 究。 

3. TSSCI 資料庫:以「學程」查詢得 17 筆,多為中等教育學程、師資培育學

程等議題;以「榮譽學程」、「英語學程」、「英文學程」蒐尋結果均為「找

不到」。 

4. LLBA:  以 honors  program 為關鍵字僅蒐得 2 筆資料,其一為 1977 年之期 刊論文,探討在 honors degree program 中教大一生法文,另一為 1991 年 美國 U Penn 的學位論文,探討以母語寫作為本的大學教育,基本上均與 英語榮譽學程不太相關。另以 language program evaluation  為關鍵字,限

在學術期刊與書籍類,得到 86 筆,再限制為英文而非其他語文則餘 28 筆資料,最近的一筆在 1995 年,距今竟已有 17 年之久。 

5. SSCI:  以文章標題含 language program evaluation  蒐尋得 66 筆資料,經剔 除不符主旨的資料、書評後,比較重要的發現是 Language  Teaching  Research  期 刊 2009 年 的 一 本 語 言 教 育 評 量 專 刊 “Special  Issue: 

Understanding  and  improving  language  education  through  program  evaluation”  及近年零星出現在 Foreign Language Annals, Modern Language  Journal, Language Learning 等重要期刊的幾篇論文。   

6. 已出版之外語學程評鑑專書:近十來年稍早的系統性論述包括有 Worthen,  Sanders, and Fitzpatrick (1997)較廣泛的教育評鑑指南 Program evaluation: 

Alternative  approaches  and  practical  guidelines  (2nd  edition)及 Lynch  (1996) 側重在語言教育評量的專書 Language  program  evaluation  –  Theory  and  practice,近些年的則有 Kiely and Rea‐Dickins (2005) 的  Program Evaluation  in  Language  Education 及 Lynch  (2003)將語言評量與學程評鑑合併考慮的 討論 Language assessment and programme evaluation,以及 Norris 等人編 輯的大學外語教育評量專書(Norris, Davis, Sinicrope, & Watanabe, 2009)。

程研究,於查得資料中沒有所謂的英語榮譽學程。以上一方面說明這類研究 外文獻多在  program evaluation  或  language program evaluation  這些分類下,

且討論的標的多為 ESL/EFL programs 或 language centers,其行政內容在編制 上較為接近國內大學的外文中心、語言中心、英語教學中心等以培養學生外 語技能發展為主要任務的單位。 

學程評鑑的定義在此採用 Rossi,  Freeman,  &  Lipsey  (1999)的說法,即  “an  information‐gathering  and  –interpreting  endeavor  that  attempts  to  answer  a  specified set of questions about a program’s performance and effectiveness” (p. 

62)。評鑑的用處一般則分為  accountability 問責與決策及 development 教學 發展兩大類(Kiely & Rea‐Dickins, 2005)。  Norris (2009)表示,學程執行者與教 師們過去多半認為評量是外來加諸的負擔,必須配合且是被動的,但在現今 的教育發展下,教師多半體認到評量已與自身工作的發展與改進密不可分,

改採主動參與的態度(Mackay,  Wellesley,  &  Bazergan,  1995)。另一個不同點在 評量所採的資料,早些年一般較看重的多是標準化測驗的量化指標,典型的 做法是以前後測對學生考試,從學生考試成績的變化來證明學程的成效。雖 然這樣的看法,特別對大學非英語教學專業的高層決策者及教育主管單位而 言,恐仍是顛撲不破的保證,英語教育人員有必要在評量時納入及蒐尋更有

詮釋力、有意義的資料,並負起教育非專業人員的責任。Guba  and  Lincoln  生的外語自我效能(self‐efficacy)  及未來使用外語的期望(future  expectancy  of  second  language  use),因為這兩個構念關係到學生在學程結束後能否帶走自

Elder (2009)  回溯三個語言學程評鑑的個案,以檢討評鑑本身的問題及可能的 改進方向,雖然她的標的是澳洲中小學裏外來移民學生的母語學習(含越南 語、中文、阿拉伯語),但其自「對評鑑的評鑑」所歸納出的七點結論中,

亦有許多值得借鏡之處,茲列舉重要的三項說明如下: 

1) 須 與 相 關 人 員 討 論 判 定 學 程 成 效 與 學 習 發 展 的 依 據   (discuss  with  stakeholders  what  will  constitute  evidence  for  accountability  and  development):歷史案例中顯示,評量者與學程行政人員或教師在這方面 常各自有不同的認定,卻又假設他人的標準與自己相似,沒有溝通釐清 的機會,直到評量結束、報告完成,才發現各說各話,因此有效的評量 須在一開始就與相關人員做充分的溝通,以避免類似的情形。 

2) 學程評量必須依進程修正,不該固守原計畫以終(be  prepared  to  change  the evaluation plan as the program proceeds):在過去案例中,評鑑標的常 是千頭萬緒,但隨著計畫的進行,某些各學程特有的現象會逐一浮現,

參與人員也會逐漸注意到較有意義的研究問題,此時就該修正計畫,使 評量的結果更能切合學程特性與需求。 

3) 考慮評量報告的綜效(use synergistic modes of reporting):一個學程的評量 結果,各方人馬如高層決策者、教師、學生等人,都會有興趣瞭解,但 因其背景與關注的焦點不同,對資料的需求與解讀就有差別,如果只針 對一方的需求進行評量,資訊沒有充分發揮效能有點可惜,因此報告的 呈現若能事先考慮不同類型的讀者,稍作調整,或可求其效益擴大。 

Llosa and Slayton (2009)認為學程評鑑不能光指出問題,還要能分析問題背後 的原因,在他們的評鑑例子裏,即清楚指出一個原本要為低成就小學生加強 能力的閱讀養成計畫,因為該學區作息的限制及教師間溝通的問題,無預期 地成為原本課程的替代而非補充,自然不能達到預期成效。他們同時指出,

有用的評鑑須有以下特點: 

1) 慎選必要的評量元素:(a)調查並瞭解環境脈絡、(b)資料類型與來源必須 多元、(c)分析工具要恰當、(d)一定要包含質性資料; 

2) 報導結果須謹慎:(a)對結果提出解釋、(b)綜合考量過去評鑑文獻與受檢 學程情形,使評鑑結果與過去已知產生連結,更有意義、(c)提出實際有 用的建議。 

在評鑑的方法方面,Kiely and Rea‐Dickins (2005)整理出九○年代末期英國教育 界 學 程 評 鑑 的 做 法 , 分 別 是 experimentalism 實 驗 設 計 、 the  objective  achievement  model 客觀測量模式、performance  indicators 能力表現指標、

self‐study 理念與發展的自我陳述、expert  or  peer  review 專家或同儕評鑑及 inspection 外部評鑑單位的檢核。以上這些模式,也都提供本研究許多思考 的方向。 

相關文件