工程及科技教育認證制度下的學生核心能力與評估:大學教師、系主任、院長的觀點

教育科學研究期刊 第五十八卷第四期田曾自回 到 13 年.

58 (4)' 37-68

~ ~

doi:

1O

.6209

/J

OR

lE

S.20 13.58(4).02

回油

1

工程及科技教育認證制度下的

學生核心能力與評估:

大學教師、系主任、院長的觀點

林妙真

國立中央大學 學習與教學研究所

摘要

張佩芬

國立中央大學 學習與教學研究所 歐美國家近幾年皆已建立不同程度的品質保證體系，而國內工程及科技教育認證實施 9 年，偏向檢視整體教育的品質，缺乏對評估機制的深度檢視。本研究旨在探究工程及科技教 育認證對學生核心能力的影響，並瞭解目前國內各工程系所評估學生核心能力的方式 o 以問 卷調查和深度訪談蒐集院長、系主任與教師意見，有效回收問卷共 471 份，受訪對象計 20 位， 並以一般歸納法(

a general inductive

approach) 分析質性資料。研究發現:工程系所教師對於 學生核心能力的評估仍是陌生的，且大多數系所尚未發展適當的評估工具。本研究以其中l 所學校為例，該校將評分規準(rubrics) 與數位平臺運用於教學與評量中，一則減輕教師的負 擔;二則充分落實學生學習成效品質保證機制，可作為國內成果導向認證提供最佳實務(

best

practice) 。最後針對目前工程系所落實持續改善之困境與未來研究提出建議。 關鍵字:工程教育認證、品質保證、核心能力、評分規準 通訊作者。張佩芬，

E-mail: pfchang@cc.ncu.edu.tw

收稿日期。 2013/03/31 、修正日期。 2013111130 、 2013/1 訂閱，接受日期: 2013 /1 2119 。

•

38

.學生核心能力之評估 、問題描述

壹、前言

林妙真、張佩芬 學生學習成效 (learning outcomes) 是目前歐美政府及其外部品質保證組織判斷高等教育 機構效能的主要依據 (Eaton，

2003; Ewell

,

2001

)。國內工程及科技教育認證制度自 2004 年實 施以來，尚未針對學生核心能力評估進行實徵研究。 (一)高等教育重心為學生學習成效 為提高我國高等教育之實施成效，教育部白 2004 年起委託臺灣評鑑協會辦理大學校務評 鑑， 2006 年由高等教育評鑑中心辦理大學系所評鑑，採取美國「認可制 J (accreditation) 精神 實施。歐美各國亦有凰於國際競爭力的壓力，於是要求確保大學或高等教育品質的呼聲漸起， 高等教育品質保證 (quality assurance) 成為各國高等教育研究和公共政策的重要議題之一

(Maassen

,

1997

)。對高等教育績效責任的強調，促成了高等教育品質保譚運動的發展，也使 得國內大學系所評鑑於第二週期評鑑時走向品質保證。 第二週期的系所評鑑與第一期最大的不同，在於強調「過程面」及「結果面 J '受評鑑系 所須依據學校所建立之學生學習成效評估機制，落實教育目標與核心能力，確保學生學習成 效之作為(玉保進，

2011

)。因此，學生學習成效的檢視乃目前高等教育品質保證的重心。 (二)被視「學生學習成效」之機制尚未建立 工程教育認證是一個成果導向( outcomes-based) 的制度，並強調持續改善、重視畢業生 各項核心能力之養成的品質保證系統，目的在於檢視受認證系所是否達成其自訂之教育目 標，以畢業生成果為導向，確定其具備核心能力以執行專業工作，重視教學成效及評量，並 建立長期的持續改進機制。然而，工程教育認證實施 9 年來，各受認證系所在自省機制之建 立，以及持續改善之落實上仍亟待努力。研究者發現:受認證系所在工程教育認證過程中， 偏向檢視整體教育的品質，缺乏在課程上的深度檢視、探究及討論，尤其是看不到整體教師 融入學程課程設計、發展、執行與檢討的工作。各個系所在自評報告書中對學生學習成果的 檢視過度依賴問卷調查，亦即「間接評量 J '缺乏課程中教師對學生學習成效的檢視，即直接 評量，如實作、專題、考卷、作業等。大部分的系所似乎尚未將認證檢視的重點深入到課程 與學生學習成果關聯性方面的問題，尚停留在檢視整體系所的架構問題。這似乎顯示出:教 師對工程教育認證的參與及投入不夠，且系所課程的規劃與整合不夠完整，導致目前此種「勉 強連結既有課程與認證要求，而非統合依據教育目標來設計課程」的現象。 近年來，國際高等教育趨勢愈趨重視學生的學習成果，紛紛強調培養學生的「核心能力」

( core competences

)。玉保進 (2011 )亦指出:欲推動學生學習成效品質保證機制，首要之務

即在於根據學校發展定位與系所本身之設立宗旨與教育目標，明確訂定學生畢業時應具備之 專業知識、技能與態度等三個面向之核心能力。換言之，核心能力的達成情形與學生學習成 效的關係密不可分。目前受認證系所大多已完成該系核心能力的建立，但是否已發展適切的 評估核心能力之機制，是研究者欲進一步探究的課題。 另一方面，國內工程教育認證制度自 2004 年實施至今，學生在核心能力上是否有所提升， 似乎尚未有任何相關實徵研究進行探討。本研究將以大學工學院、資電學院教師為對象，深 入探究工程及科技教育認證制度實施對學生核心能力達成之影響，並瞭解各系所如何評估核 心能力之達成情形，盼此研究結果可作為國內工程教育認證制度實施成效相關研究之先鋒。 二、研究問題 本研究旨在分析工程教育認證的品質保證系統，學生核心能力評估的現況。研究問題如

下:

(一)工程教育認證制度實施後，學生的核心能力有否提升? (二)各系所如何實施學生的核心能力評估?

貳、文獻探討

一、國際高等教育品質保證之發展

高等教育品質保證體系係指在高等教育品質觀念和價值取向的指導下，根據一套品質標 準和工作流程，內、外部機構對教學相關因素進行控制、審核和評估，以向社會各界保證高 等教育品質的一套理論和實踐體系。其基本理念是提高大學的教學和研究水準'保障學生和 家長的利益，促使大學為社會和經濟發展做出貢獻(

Gray

&Patil

,

2009

)。 (一)品質保證逐漸在全球推廣 二十一世紀以來，品質保證在全球逐漸推廣。根據高等教育品質保證國際網絡

(International Network for Quality Assurance Agencies in Higher

Education) 的正式會員和歐洲 高等教育區(

European Higher Education Area

,

EHEA

)參與國的統計，建立了品質保證體系的

國家數，已由 1995 年的 40 國增加到 2012 年的兩百多國，尤其是歐洲，幾乎所有的國家都已

建立不同程度的品質保證體系。

提升高等教育品質保證的關鍵在於，內部改善(internal improvement) 及外部的續效責任

( external accountability

)中取得平衡(

Gray & Patil

,

2009

)。外部品質保證是內部品質保證的

延伸，由校外獨立評鑑或認證機構進行品質保證的評估。外部的專家小組一般由外校的學者、 專家組成，以一個公正、公平、公開的評鑑方式評估其教育品質，並藉此瞭解該機構本身是

•

40

.學生校心能力之評估 林妙真、張佩芬 第一線課堂教學品質保證'如果老師教得好，學生學得好，那教學品質就得到了最基本的保證。

(二)重視學生學習成效

美國高等教育認可協會(

Council for Higher Education

Accreditation) 執行長 J.

S.

Eaton 指

出:高等教育的績效責任將更受重視，尤其強調檢視學生的學習成效，以及評鑑結果與資訊

的透明化(許媛翔， 2006) 。英國高等教育品質保證機構(

Quality Assurance

Agency) 於 2001 年公布全國的學位標準 (The

Framework for Higher Education Qualifications in England

,

Wales

and Northern Ireland)

，說明各級學位的品質和水準以及各級學位持有人應有的學習成效。歐洲

高等教育區 (European

Higher Education Area [EHEA]

,

2005) 於 Bergen 會議提出: 45 會員國 應考慮的學位標準'該文皆以畢業生的學習成效來說明各級學位的品質和水準。由上可知: 各國的學位標準，或專業人員培育計畫也都在不同程度上用學習成效來表明其品質和水準， 用學生的學習成效來檢視高等教育的品質應是最合理與適切的。因此，在品質保證機制中， 學生學習成效的檢視是備受重視，更是目前的趨勢。 二、工程教育認證制度之發展 世界各國對於高等教育品質的重要性其有共識，並設有專門機構負責監督及保證教育品 質的提升。工程教育認證亦是如此，不僅其有一套認證標準，亦有專職機構負責，如美國的

工程與科技認證學會(

Accreditation Board for Engineering and Technology

,

ABET) 、加拿大的工 程認證委員會(

The Canadian Engineering Accreditation

Board) 及英國工程師協會(

Engineering

Council

UK) 等。為了將各國的認證系統建立起一套相互認可的機制與平臺，澳洲、紐西蘭、

加拿大、美國、愛爾蘭和英國等六個國家的工程教育認證機構，己於1989 年共同簽署了〈華

盛頓協定}

(Washington Accord

,

WA)

，其主要精神是在「實質相當J

(substantially equivalent)

的前提下，讓各簽署會員國得以相互承認其認證過之學位，進而讓這些國家的畢業生得以在 該協定中的會員國工作或取得工程科技執業執照，達到國際互通的目標(張佩芬、汪島軍、 張淨怡， 2008) 。 (一)美國工程教育認證制度之發展 美國的認證制度是由非官方之專業團體，根據訂定之評核標準與方式用來認證受評學校 的各項教學設備與活動。以工程及科技領域為例，即由ABET 之專業認證機構負責，主要任 務在於認證美國教育機構所申請的工程及科技相關之學系與學程課程，通過認證的該學系畢 業生，即被認可完成工程專業所需之基礎教育。 在第二次世界大戰後，隨著工程及科技相關大學僱用教學與進行科學研究的教師，有工 業經驗的教師減少。進階數學和理論課程取代了在機械、調查、繪圖等實務取向的課程

自隘』

這種強調技術知識與技能逐漸帶出業界雇主的不滿。雇主總是抱怨應徵者缺乏與團隊溝通合 作的能力、缺乏社會的正面評價，以及在解決工程問題與品質的過程中沒有技術性的影響。

美國研究會(

The National Research

Council) 、國家科學學會 (National

Science

Board) 與 美國工程教育協會 (American

Society for Engineering

Education) 皆公布在工程教育上需要此 重大改變。到了 1995 年晚期. ABET 制定了工程認證規範 (Engineering

Criteria 2000

,

EC2000 )

0 EC2000 以強調「清楚的教育目標」、「目標導向評量」及「持續不斷地改進」等， 取代原有僅偏重於「資源」、「教學設備」、「師資專業素養」等之指標項目(

Volkwein

,

Lattuca

,

Terenzi凹，

Strauss

,

& Sukhbaatar

,

2004

)。這些將評量大學工程學系的新標準在1998 至 2000 年 被逐步使用，在2001 年正式實行。

美國 ABET 近幾年對於工程教育方面提出許多創新、務實的教育改革計畫，其中最重要 的一項就是發展系所的核心能力，也就是學生畢業時能其備的能力及知識，包含(

Accreditation

Board for Engineering and Technology [ABET]

,

2013) :

1.應用數學、科學及工程知識的能力; 2.設計與執行實驗及分析與解釋數據的能力; 3. 設計系統、零組件或製造程序以滿足特定需求的能力; 4.在跨領域( multi-discipline) 團隊中發揮功能的能力; 5. 確認、明確的陳述及解決工程問題的能力; 6. 對專業與道德責任的領悟; 7. 有效溝通的能力; 8.在全球性與社會性環境背景下瞭解工程解決方案產生的衝擊所需之廣博教育; 9 認知終生學習的必要性及將之實踐的能力; 10. 與當代議題相關的知識; 1 1.執行工程業務所需要的技術、技能及現代工程工其的運用能力。 1955 年公布第一版的核心能力是全球較早將學生學習成效列為重要準則的認證制度，而 這十一種能力概括了美國工程專業學士學位教育的品質標準。 (二)國內工程教育認證制度之發展

中華工程教育學會(

Institute of Engineering Education Taiwan

,

IEET) 在教育部及國科會共 同支持與授權下，於 2003 年 6 月成立，為國內唯一「工程及科技教育認證」的國際聯絡單位， 負責對國內大學校院工程領域相關科系進行認證。申請認證的學系必須依〈工程及科技教育 認證規範~

(Accreditation Criteria 2010

)撰述自評報告，經認證委員進行實地訪評後，由IEET

相關委員會決定是否通過認證。國內的工程及科技教育認證係針對教育部認可之國內大學校

院、科技大學及技術學院，授予學士、碩士或博士學位之學程(degree-

granting

program) 進

•

42

.學生核心能力之評估 林妙真、張佩芬 為 6 年一度的整體檢視，而「期中審查」係依認證結果，於同一週期內對受認證學程執行後 續重點的追蹤檢視。 教育部為鼓勵大學校院主動建立自我評鑑機制或參與類似IEET 的國內、外專業評鑑機構 之評鑑工作，以提升教育品質、確保績效，於2010 年起通過 IEET 認證的大專院校可免教育 部系所評鑑; 2012 年起通過 IEET 認證之科技大學及技術學院工程相關系所，可免教育部之綜 合評鑑。 工程及科技教育認證制度自2004 年實施以來，至今已邁入第9 年，除了早期推動的工程 教育， 2012 年起也新增設了資訊教育認證、技術教育認證及建築教育認證。累計至2013 年共 73 校 595 個系所通過認證。 圓 1~工程教育認證之持續改善機制，也就是各學系透過與系所相關人士所組成的諮詢 委員會、學校/院願景、系所教育目標工程教育認證規範的「規範三J '反覆確認制定出該系 所之教育目標及畢業生的核心能力，為了確保畢業生達成這些核心能力，就須配合課程，擬 訂培育學生核心能力的計畫及評量的方式。之後，藉由評量的結果決定學生是否達到該系所 設定的標準。此一循環的最後步驟即是透過學生學習過程及成果的蒐集，瞭解未來改進的方 向並進而執行，以達持續改善的宗旨。 具自我功能與特色，符合一-時代潮流與社會需求

|

•

-h

\ \

持續改善 工程教育認證之終極目標

景

願

院

et--+

/

校

學

畢業生核心能力 不~\

/

核心能力 達成指標

/

持續 改善

課叫你

革//

成效評估: 資料分析與解釋

/

\

進行評量: 資料蒐集與分析 圖I. 持續改善之機制。引自持續改善機制{圖卜中華工程教育學會， 20 日，取自 http://www.iee t.

org.tw/lnfo.aspx?o=whatisac

《工程及科技教育認證規範》內含八項指標. r 教育目標」、「學生」、「教學成效及評量」、 「課程之組成」、「教師」、「設備及空間」、「行政支援與經費」及「學系認證規範」。其中第三 項規範「教學成效及評量 J '即是評量學系之教學成效與其自我評量、發展及改善計畫。 IEET 為配合 WA 新標準'規劃了認證規範的調整。新規範版本將自 2014 年 8 月起適用。以「工程 教育認證為例 J '學生在畢業時須具備下述核心能力(中華工程教育學會，

2013) :

1.運用數學、科學及工程知識的能力。 2.設計與執行實驗，以及分析與解釋數據的能力。 3.執行工程實務所需技術、技巧及使用現代工具的能力。 4.設計工程系統、元件或製程的能力。 5. 專案管理(含經費規劃)、有效溝通、領域整合與團隊合作的能力。 6.發掘、分析、應用研究成果及因應複雜且整合性 (complex) 工程問題的能力。 7. 認識時事議題，瞭解工程技術對環境、社會及全球的影響，並培養持續學習的習慣與能 力。 8.理解及應用專業倫理，認知社會責任及尊重多元觀點。 目前最大的問題是，各受認證系所在學生核心能力、達成指標、課程與教學方法、進行 多元評量等方面都做了，但卻缺乏「點」與「點」之間「線」的連結(如圖 l 所標示虛線箭 號) ，也就是說，未能進一步分析、解釋評量結果、進而與核心能力的對應、提出改善機制。 這些「線」的連結正是證明該系所達到工程教育認證持續改善之核心關鍵，否則受認證系所 準備的各項資料僅代表其具備表面數據與圖表，實際上並未建立自省機制，也未能落實持續 改善，此一潛在的危機才是令人擔憂的。因此，本研究將針對國內認證制度實施 9 年來在學 生核心能力達成情形做一探討。 三、學生學習評估之實徵研究

雖然有許多工程教育文獻探討了關於實施 EC2000 的正面經驗( Dabne)九 Johnson，

Penny

,

&Em前，

200 I; McGourty

,

Sebastian

,

& Swart

,

1998; Miller & Olds

,

2002; Soundarajan

,

2002

)。但 為了檢視 EC2000 實施前後學生學習成效的改變情形， 2002 年 ABET 委託賓州州立大學的高 等教育研究中心(

The Center for the Study Higher

Education) 團隊進行此實證研究。 Lattuca 等

(2006

)研究團隊針對美國 40 所學校七個工程領域的畢業生、教師、系主任與雇主實施問卷

調查。其研究結果發現， 1994 年與 2004 年的畢業生在核心能力上最大的差異有: (一)覺知

自己可影響或被影響的社會及全球決策; (二)應用工程技巧; (三)團隊合作技巧; (四)瞭 解專業倫理。差異最小的則是應用數學與科學的能力。顯示學生的專業能力沒有下降，且近 年來的學生表示，他們的就業準備度(

employability

)優於以前的畢業生。

•

44

.學生檢心能力之評估 林妙真、張佩芬 樣本，調查 140 多位系主任、 1 ，200 位教師、 2004 年的畢業生 4，300 位及 1994 年的畢業生 5 ，40。 位，探討不同時期系所認證標準改變所帶來的不同影響。結果發現:2004 年的資料顯示學生 經驗與成果有著一致的水平，說明了工程教育認證實現了品質保證的目標。在Lambert 、 Terenzini 與 Lattuca (2007) 的研究發現:工程相關系所的學習不只影響學生學習經驗，也影 響系所的改變與教師的教學活動。學生教室內的經驗是重要的，在教室內團隊合作的經驗有 助於學生發展團隊技能、分工合作及彼此的互動;在課外活動經驗上的影響則對團隊合作經

驗較小。 Chen 、 Lattuca 與 Hamilton (2008) 則將教師視為課程設計者，進一步探討教師在促

進/維持學生參與上的角色。該研究提出:良好的教學是一個多向度的結構(

multi-dimensional

construct)

;要讓學生能充分地參與教學活動是教師與學生雙方共同的責任;教師若能持續關

注學生參與的情形，是能吸引並留住學生的，特別是工學院中為數較少的女學生。 加州大學洛杉磯分校(

University of California

,

Los

Angeles) 的教育評鑑中心 (Center

for

Educational

Assessment) 進行了問卷調查，以幫助學校暸解學生在校的生活及學習經驗

(academic

experiences) 。許多系所都會運用該調查結果當作是衡量學生對於課程、教學品質

與專業領域指導等滿意度的衡量，也成為他們的自評報告書重要的依據。這一系列的調查中， 讓學校委員會最厲興趣的是學生對於主修和輔修課程的滿意度調查。絕大多數的填答者指

出，他們滿意或非常滿意他們在主修(90%) 和輔修 (94%) 課程中所經驗的專業領域挑戰。 對於整體課程與教學品質的評價也很高(

Smith & Yokota

,

2009

)。

AI-Nashash 等 (2009 )為了確認電子工程系課程是否符合ABET 的指標，進行了一系列 質性與量化的資料蒐集與問卷調查。結果顯示:在於該系的學習成效上的量化數據，平均數 皆在 3.5 或以上，表示是「好的」與「滿意的」表現。另外，系所的課程規劃也因為問卷調查 的結果而有了一些改變:從電磁課程的教師課程評量指出:學生缺乏向量微積分的背景知識， 因此教師在講解電磁概念前必須先說明需要用到的微積分概念。在電子學的教師課程評量中 指出，學生對於數位電子學應具備一定的背景。因此，該系的數學課程序列進行了重申且，在 必修課中增加了「向量微積分」與「微積分血」。 Abu-Jdayil 與 AI-Attar (2010) 針對該校化學工程系進行學生學習成效的評估，以確認是 否符合該系的教育目標。他們先將該系的教育目標與核心能力和ABET 的指標做一對應，並 將課程評量與核心能力的達成等組成一個檢視的循環系統，以推動持續改善的機制。 Abu-Jdayil 與 AI-Attar 採用的直接評量工具有課程評量、畢業考、專題實作(

capstone project)

課程，將這些評量工具所得的結果與問卷調查結果進行交叉比對，得到以下結果:

2004-2008

年學生核心能力表現在五等量表中，大部分都具有 3.5 以上的滿意度。 2008 年，學生在，

J.

與當代議題相關的知識」是最低 (M=3 .4) ， 雖然比起 2006 年已有改善，但和其他核心能力

相比仍是偏低。因此，他們鼓勵學生尋求網路資源、專業領域的期刊。再者，調查結果顯示:

習的必要性以及將之實踐的能力」的表現有顯著的提升。這些核心能力的改善皆顯示:該系 的教學活動(分組專題製作與展示)與課程教材能進行持續改善。 國內對於工程相關科系學生學習成效之探究相當有限。劉杏元等 (2010 )曾探討「最後 一哩」課程介入對四技護生學習成效之影響。該研究以不同量表進行前後測，同時蒐集研究 對象的反思日誌，結果發現:最後一哩課程能顯著提升護生之護理專業能力、護理專業承諾 及工作愉悅厲。 四、核心能力之評估 評量( evaluation) 是教學過程中不可或缺的一環，教師教學的效率、學生學習的成效、 課程設計的良爾等，均需透過評量始能顯現出來。評量的重要性在於教師如何運用從評量所 獲得的資訊，瞭解學生所具備的核心能力，並提供學校、老師下一次的改進依據。因此，目 的、訊息、解釋與做決定之間的關係是密不可分的，因為教師評量學生學習的理由，是依據 決定所蒐集到的訊息、如何選擇、如何解釋，以及如何運用(

Genesee & Upshur

,

1996) 。

(一)忽略教學目標、教學內容與評量方式之一致性的缺失

綜觀國內目前的教育方式，常忽略教學的目標、教學活動與評量方式之間的一致性，此 不一致將導致無法確認學生核心能力之達成情形，原因如下: 1.評量的方式未能符合教學目標 評量目標必須緊扣教學目標，評量是達成整體教學目標之教學活動之一，目的在於瞭解 學生是否達到標準。幫助學生發揮潛能，達到高水準的學習目標。重要性則是評量的方式能 夠給予學生的學習是否符合教師預期的一些證據，評量能夠教導學生學習如何學習、如何思 考，以及如何盡可能的在更多方面表現學習成果。倘若評量的內容與目標不一致，其再次學 習的機會將被剝奪，當評量方式與教學目標一致時，便可將評量結果視為學習的結果

(Anderson &

Kr

athwohl

,

2001

)。

2. 教學內容未能符合評量的方式 教學內容是幫助學生學習的主體，而評量則是用以檢視學生學習的成效如何。若評量的 任務與教學活動不一致，教師便無法評估教學活動的成效，而無從得知學生的學習狀況與能 力。過去教師們深信紙筆測驗的公平性及其有效性，而紙筆測驗往往強調的是「記憶 J '如果 重視學生的實作與統整能力，那麼必須採用多元的方式進行評量，如:口試、實作、觀察、 檔案評量等。 每一課程的規劃與各校院系的教育目標及核心能力指標相互調準(

alignment)

，再決定涵 蓋哪些核心能力達成指標，並確定這些指標在各科目教學內涵的時數規劃與學習評量所分配 的權重比率。如此，不僅確保課程目標、教學活動與評量方式一致，更能深入暸解學生學習

•

46

.學生核心能力之評估 林妙真、張佩芬 成效的情形，進而達到持續改善的品質保證。 (二)以評分規準為評估與調2壘的依據 為了達到「學生學習成效」之品質保證，教育過程及教學形式必須有明確化的目標及確 認目標是否達成的績效指標。研究者認為，建立核心能力達成指標的評分規準 (rubrics) 是刻 不容緩的，在國外已被廣為運用的評分規準是以學生學習成效為基準的評量方式，兼具效率、 公平及促進學生學習等多項優點，以量表的方式建立定義清楚明確的評分規準，幫助教師更 有效率地維持評分過程的一致性，避免評分不公的爭議。此外，評分規準的評量結果能正確 反應學生的學習狀況，提供教師作為暸解教學成效與調整教學內容的重要參考。除了協助教 師教學的功能外，透過檢視評估準則的達成程度，每位學生可以得到個人專屬的具體回饋， 清楚知道自己學習的優缺點，並進一步培養出自我評估及學習管理的能力。 1.評分規準之目的與運用 評分規準原指評分時的註記，延伸至今被視為一種學習評量的評分規範。 Whitcomb

(1

999

)定義評分規準是「一套評量學生表現的給分指哥IJ 0

Callison

(2000) 進一步定義評 分規準是「一套指標，通常用來定義從無法接受、最低限度到優越的表現」。 評斷學生是否達成工作目標的規準是一些指引、原則或準則，這些是可以用來評估學生 在作業上的表現、反應，以瞭解學生的程度，以及是否達成教師原先預期的目標。學生當然

也可以透過此一歷程，進行自我調整而改善其表現(

Arter

&

McTigl時，

2001; Wiggins

,

1998) 。 評分規準必須比教學計畫更早規劃出來(

Popham

,

2005)

，也應依據每個教學單元的學習目標 來實行。這是有助於評分規準與教學目標兩者的一致性。 2. 評分規準在教學上的角色 評分規準是用來評估學生的學習(如:表現、實作評量、論文、團隊合作等)的工其， 提供了一套的指標與表現層次。Arter 與 McTighe (2001) 認為評分規準是評分指引、或是描 述在判斷產出或績效表現的品質等級時應檢視的績效準則，而評分規準搭配教育目標與核心 能力，在課程規劃下有以下的應用(李紋霞，

2012)

(1) W (where

,

why) 要帶領學生往哪裡努力?為什麼?

(2) H

(hooked) 如何能讓學生積極參與，配合教學活動和要求?

(3) E (equipped

,

explored) 讓學生其備和探索重要觀念的機會是什麼?

(4) R (rethink

,

rehearse

,

refine

,

revise) 如何提供學生再思考、演練、精鍊和修正學習結果

的機會?

(5) E

(evaluate) 學生如何評估(以致於改進)他們自己的學習表現?

以口語表達的評分規準為例，用在大學課堂上時，學生可以運用評分規準來自我評量。

標，可以幫助學生、同儕與教師評估該學習者的表現、作品或學習技巧上的進步。一旦列出 評分的面向後，對教師的教學或學生的學習都有正增強作用。以學生學習表現為基準，明訂 的各項評量標準，可準確呈現受評學生的表現，確實反映該學習行為所需具備的各個面向， 更能定義各面向表現之優劣指標 (Goodrich， 1997) 。除此之外，教師也可利用評分規準和學 生們討論專屬於這門課的評估標準，讓學生也有參與凰、決定成績評估過程，對於課程設計 及學生學習成效評量，都有助益。 3. 評分規準在評量上的角色 李紋霞 (2012 )曾指出:各項評量工作實務的六大挑戰為: (1)考試或作業份數太多，批改標準不一致; (2)不同評分者所認定的標準不一樣; (3)教師批改準則缺乏學習成果全面性的評估; (4)學生被評量前缺乏明確的準備指引; (5)學生不易得知沒有標準答案的批改準則; (6)學生從成績中無法知道哪些部分需要加強。 而評分規準和這些評量方法的最大不同，在於其著重的是「質」的評量，不僅可以幫助教 師有效地瞭解學習者的學習成效 (Goodrich，

1997)

，學習者也能知道分數的由來，並修正自 己的學習弱點，讓分數不再只是單純數字，而是加入了主動學習、自我成長的一段教學/學 習反思過程。評分規準的優點在於'每項評分標準都可清楚明列，不會因為教師批改的時間 不同、批改者不同，而有標準變動的疑慮。過去學生看見的只是單一分數，無從得知教師給 分依據，學生更無法從教師那得到學習活動的回饋，而評分規準以量表方式呈現學生成績， 學生得以細查自己於各分項的成績以及總和。這種評分方式的積極面是，學生可以藉此自我 評估，讓每次的評量結果，成為下一次學習目標的基礎，促使學生對自己的學習負責，給予 學生一個明確、可衡量的指引是重要的。他們可以知道他們怎麼做是好的，亦可提升他們在 學習上的努力 (Rose，

1999)

(三)借鏡美國工程教育應用評量規準的過程 自 2000 年以來， Besterfield-Sacre致力於美國工程教育評量的發展，與如何將評分規準運

用於工程教育評量的建立過程。Besterfield-Sacre、 Gerchak 、 Lyons 、 Shuman 與 Wolfe

(2004)

請大學二至四年級學生以概念圖(concept map) 的方式繪製他們對於「工程領域的理解」

( understanding of engineering field)

，以瞭解這群學生對於工程知識的理解。Besterfield-Sacre

等人便是以評分規準來評估學生所繪製的概念圖。

評分規準的發展是請教師先將大學二至四年級學生所學習的知識整理成表，再交由兩位

•

48

.學生核心能力之評估 林妙真、張佩芬

為:全面性( comprehensiveness) 、組織性( organization) 與正確性( co叮叮tness) 。再定義

此三個向度，並分為三個層級，因而產生正式的計分欄位(如表l 所示)。該研究說明，這 樣的過程至少要經過三次的審查與修訂。 接/整合能 組織性 系統性地安 排、概念的層 次結構之連 表 l 「工程領蹋的理解」概念圖之評分規準 \ \ k 層級 指標 \ \ \ 全面性 概念圖缺乏對議題的定 對該主題的 義，對工程領域的知識很 瞭解程度與 簡單或有限。概念的廣度 涵蓋的深度有限(如課程涵蓋面極 和廣度 小、也沒有提到業界或終 身學習) ，鮮少油蓋一些 學科領域的素質。 概念圖只有線性的連結。 少有其他分支結構。概念 沒有得到很好的整合。

2

概念圖有足夠的學科定 義，但知識只限於某些領 域(如雖提及了許多相關 課程，其中主要一、兩個 面向卻未提到) ，僅能勉 強說明一些對該主題的 理解。 概念圖足夠的分支與結 構問之連結。有一些整合 的分支是可見的，但並不 完整。有 f盾環的路線存 在。

3

概念圖完整定義每個主 題。缺少的內容不超過一 個延伸議題(即最相關的 部分，包括終身學習、業 界、人員等)。 概念圖對於各概念的整 合有著良好的組織，也看 得出循環的路徑。分支之 間是精密複雜且相互連 通的。 力 正確性 對概念的認 識、編排邏 輯、文字皆正 確 概念圖是錯誤的，且對學 科讀域有著錯誤的概 念;有時會使用不適當的 用語。該概念圖對於某些 主題的理解是不正確的。 概念圓大部分的連接是 正確，但也有部分是錯誤 的，此外也有 4些拼字與 語法上的錯誤。 概念圖適當地整合各個 概念，對概念的認知也無 誤。沒有或很少有拼字或 語法上的錯誤。

註:引自“Scoring

concept maps: Development of an integrated rubric for assessing engineering

education

,"

by M. Besterfield-Sacre

, 1.

Gerch 此， M.

Lyons

, L. 1.

Shuman

,

and H. Wolfe

,

2004

,

Journal of

Engineering Education

,

93(2)

,

p.

113 。 Besterfield-Sacre 等 (2004 )研究結果指出:評分規準的評量取向除了能幫助檢測學生從 大學二至四年級的知識整合，評分規準的正式計分欄位也可區分出學習的不同層級 (the

class

levels)

，同時瞭解不同層級之間的差異。對教師而言，也可看出系所整體發展的缺失為何。 傳統的方法雖提供了可量化的資料，但卻未能仔細檢視並說明這些量化資訊是否足以代表學 生真實的理解。 從 Besterfield-Sacre等 (2004 )研究可看出評分規準提供概念圖一個標準化的評量方式。 不論是縱向的指標，還是橫向的學習程度，就評量概念圖的品質而言皆沒有任何的偏見。這

樣的方式有別於傳統的評分方式，不但快速、有效率，亦能提供學生與教師有意義的回饋， 且適用於工程的其他領域，是測量學生學習成效的工其之一。

參、研究方法

本研究除 7 透過問卷大量蒐集教師們的看法，研究者更以親身的參與瞭解工程教育認證 實施的情形。各大專院校工學院、資電學院近年來紛紛開始籌備與進行工程教育認證，研究 者透過親身的參與，主要在於瞭解各受認證學程的情形，企圖看到各受認證學程教師在面對 工程教育認證真實的反應。因此，從研究的角度是「非參與式的觀察 J (non-participat。可

observation)

，並沒有干擾與介入任何受認證學程原有的活動。研究者深入各受認證學程的實 地參與，能與問卷調查結果做一深入的對應，兩者的比對是為了「確保對現象的深度瞭解J ' 希望在問卷調查量化結果之餘，能在觀察中尋求額外的意義與詮釋。故，本研究乃採圖 2 呈 現之三種方法蒐集與分析資料，並相互檢證。

仁

算術平均數、標準差、 t 檢定

「

J

L一

圓2. 資料蒐集與分析方法之三角檢證 一般歸納法 案例分析 一、問卷調查 (一)編製問卷 本研究問卷主要在於暸解國內工學院、資電學院教師對於學生核心能力是否受工程教育 認證規範之影響而有所改變。問卷題目參酌 Lattuca 等 (2006 )之「教師調查問卷」進行編擬。

•

50

.學生核心能力之評估 林妙真、張佩芬

一可

問卷初稿設計確定後，便進行專家意見調查，以建立專家效度。研究者將問卷分送5 位學者

專家;接著進行因素分析，採取主成分分析(

principal component

analysis) 法來抽取因素，並 利用最大變異法(

varimax

rotation) 進行因素旋轉，選擇負荷量大於.54 的題項形成一個因 素，得到六個特徵值大於 1 的因素，其解釋總變異量為77.55% 。在信度方面，本研究利用 。onbach'sα 值來衡量各構念的信度，所有信度係數皆高於.70 。本問卷的整體信度為.肘， 達到 Cronbach

(1951

)所建構的 .70 以上為高信度水準。

(二)樣本蒐集之過程

本研究係以全國通過工程教育認證系所之教師為研究母群體，截至2011 年 5 月止共有 447 個系所通過認證﹒計7 ， 706 位教師。在尋找正式問卷調查的對象，為了提高回收率，研究 者透過熟識的行政人員推薦學校，並引薦該校可洽詢的負責人。大多數學校之聯絡人皆會協 助回收，有 3 校則由校際聯絡人將問卷發給教師後，由教師用研究者所附回郵信封寄回。問 卷共發出 1 ， 135 份，回收有效問卷471 份，回收率為41% 。 二、深度訪談 本研究之主要目的在於瞭解工學院、資電學院教師對於工程教育認證制度實施後學生核 心能力之改變及影響。在選擇受訪對象時，研究者依循下列三個面向作為探尋的方向: (一)該學系已進入第二週期認證; (二)受訪對象對於認證有相當程度的關注; (三)受訪對象在認證實施過程中曾歷經不同角色。 考量此三個面向之用意為，研究者希望受訪對象不論參與者對於認證所持的看法是贊成 或反對，當他們對於認證有所關注時，必不會只是為反對而反對或僅是一昧的支持。擔任不 同職位與角色時，看待認證的角度也將更全面與多元。 本研究共訪談20 位願意主動分享且願意據實以告的工學院與資電學院教師。受訪教師來 自北、中、南三區，任教學校有國立大學、私立大學、國立科技大學及私立科技大學等不同 類型。教師的專業領域則依IEET 所公布參與認證系所的領域別做區分:土木工程領域有4 位 教師、化學工程領域有2 位教師、機械工程領域有5 位教師、電機/電子工程領域有4 位教 師、資訊工程讀域有2 位教師、其他工程相關領域有3 位教師。這些教師在校內曾擔任系主 任、院長或其他行政職，亦有不少教師同時身兼工程教育認證實地訪評委員、或教育部的評 鑑委員。

三、文件資料蒐集

研究者廣泛蒐集各種文件資料(如:系所規劃、相關政策、課程架構、教師授課之課程 綱要等)供研究資料之用。這些材料主要用來檢核和加強其他資料來源的證據，提供和研究

值ι 問題有關之過去事件的佐證，如果發現文件和觀察或訪談所得的資料有所矛盾，研究者將進 一步探究。

四、資料分析

( -

)問卷分析 將有效樣本的問卷資料經編碼及登錄，以 SPSS

for

Windows

15.0 統計套裝軟體進行資料 的處理與分析工作。本研究以算術平均數、標準差的統計方法，瞭解工學院、資電學院教師 在工程教育認證實施後對學生核心能力改變情形的得分，並整理勾選「有些同意」、「同意」、 「非常同意」三個選項的教師百分比。另外，為考驗教師對於學生各項核心能力提升情形， 採用單一樣本 t 檢定，與檢定值 4 是否有顯著差異，因本問卷為六點量表，故將檢定值設為 4 。 以獨立樣本 t 檢定，考驗曾/現任校內主管與教師對核心能力看法上是否有所差異。有效問卷 之基本資料分析，如表 2 所示。 表 2 有效問譽之基本資料分析 變項 組別

_人數

百分比 男

424

90.0

性別

女

47

10.0

講師

24

5.2

助理教授

114

24.2

職稱 副教授

₁₇₈

_37.8

教授

155

32.8

5年以下

70

14.8

6-12 年

153

32.5

年資

12-24 年

171

36.2

25 年以上

77

16.5

土木工程領域

44

9.3

化學工程領域

70

14.8

任教系所 機械工程領域

100

2

1.3

電機/電子工程領域

177

37.6

資訊工程領域

57

12

.2

其他工裡相關領域

23

4.8

~三1

₇₄

_15.8

目前是否擔任校內主管 否

397

84.2

(續)

•

52

.學生核心能力之評估 林妙真、張佩芬 表 2 有效問譽之基本資料分析(續) 變項 組別

_人數

百分比 是否曾(現)任校外評是

₇₂

_15.2

鑑或認證委員 _{牙仁1之三}

₃₉₉

_84.8

國立一般大學

116

24.7

學校屬性 私立一般大學

122

25.9

國立科技大學

105

22.2

私立科技大學

128

27.2

(二)訪談之實施與分析 訪談資料蒐集之後以「一般歸納法」進行分析，主要的步驟為(

Thomas

,

2006)

:

I.逐字

稿之準備 (preparation

of raw data files)

;

2.仔細閱讀逐字稿內容(

close reading of text)

; 3.

建立不同類別(

creation of categories) ;

4檢視重複編碼之分類與原始內容(

overlapping coding

and uncoded text) ;

5.持續修正與再精進分類系統(

continuing revision and refinement of

categ。可

system) 。表 3 乃以本研究的訪談資料為例，呈現質性資料分析方法。 訪談資料同時會與問卷調查中之數據結果交交檢證(triangulation) 分析。當與實際狀況 有所差異，進而當作考量現實狀況後變通權衡之宜。另外，研究者發現其中l 所學校在建置 學生學習成效評估機制上可供國內其他院校參考，故以案例分析方式進行深入的探究。

肆、結果與討論

、看似工程教育認證對於學生核心能力具正面影響的問卷結果

研究者在此僅呈現教師對於工程教育認證實施前後，學生學習成效之改變情形。問卷所 採用的量尺為:

1

I 完全不同意」、 2 I 不同意 J

,

3

I 不太同意」、 4 I 有點同意」、 5 I 同意」、

6

I 完全同意」 表 4 整體的平均數均為 4 以上，可知:教師對於學生在工程教育認證實施後學生在核心 能力的表現具有中上的滿意度。其中，又以「具備執行工程實務所需技術、技巧及使用工具 之能力」、「有效溝通與團隊合作的能力」最高，亦可看出學生雖具備實務所需的執行能力， 但在設計能力上是相對欠缺的。從表 4 中亦可看出:學生各項核心能力與檢定值 4 呈顯著差 異，唯獨「設計工程系統、元件或製程之能力」例外，顯示出:教師認為在工程教育認誼後， 學生各項能力是有所提升的。 由表 5 可看出:曾經或現任校內主管的教師對於學生核心能力看法的整體平均值是高於

表 3

質性資料分析舉例

尚未編碼 類別 編碼 _{修正與再精進} 編碼層;欠 原始資料 資料本身所發展 連結幾個 以概念來組織 的概念 相關類別 並建立論語 「課程規劃也沒有變，我們沒有 →沒有改變 因為認證改變課程的安排...J 「就我來講，不會因為認證而調 ←外顯因素 整」 「要準備很多書面資料，又沒有 →增加負擔一-

r

_{教師尚 末認 同}

那麼多的事務人員可以配合」 工程教育認證 舉例 「現在有一且瑣碎的事情、更多 的原因 的表格去填」 「學生願意把我攔下來多問且 →對教育的觀點 內在因素 問題，某種程度這門課是成功 的」 「教育的目的應該學生願意來 上課」 表 4 學生核心能力題頂之單一樣本刊倉定 題目

平均數

標準差 t值

(n=471 )

學生更具備運用數學、科學及工程知識的能力。

4

.1

6

1.2

0

2.73**

學生更具備設計與執行實驗，以及分析與解釋數據的能力。

4.16

1.1

6

2.99**

學生更具備執行工程實務所需技術、技巧及使用工具之能力。

4.22

1.1

8

3.93**

學生更具備設計工程系統、元件或製程之能力。

4.05

1.1

5

0.87

學生更具備有效溝通與團隊合作的能力。

4

.2

2

1.1

2

4.18**

學生更具備發掘、分析及處理問題的能力。

4.16

1.1

7

2.91 **

學生更具備認識時事議題，瞭解工程技術對環境、社會及全球

4.16

1.1

5

2.91 **

的影響，並培養持續學習的習慣與能力。 學生更能理解專業倫理及社會責任。

4.16

1.1

4

2.89**

**p

<

.0

1.

•

54

.學生核心能力之評估 林妙真、張佩芬 表 5 是否擔任校內主管之教師對「學生核心能力」之 t 檢定摘要 組別 個數 平均數 標準差 tf直 曾/現任

74

4.37

校內主管 教師

397

4.14

**p

<

.0

1.

.11

5

.4

1

**

.05

教師的。曾任或現任校內主管者與教師的平均數各為 4.37 與 4.14 .變異數同質性的 Levene 檢 定未達顯著 (F=

1.

906,

p= .189> .05)

.表示曾/現任校內主管者與教師兩群體之離散情形 無明顯差別。 t 值與顯著性的考驗結果達顯著，表示兩個群體對於學生核心能力提升的看法達 顯著差異。這樣的結果與Lath間等 (2006 )的研究亦有類似的情況。究其原因除了來自於對 問卷題項詮釋的差異，再者是因為教師和校內主管在工程教育認證所擔負的責任不同，因此 在看法上亦有所差距。校內主管必須承擔大多數工程教育認證的準備責任，所以對於認證過 程與學生核心能力比個別的教師有更多的知覺。同樣的，如果是負責推動認證的教師相較於 未參與的教師，也會對於工程教育認證較為熟悉與較高的知覺。 圖 3 所示，大部分教師填答最多選項的比例，依序為「同意」、「有點同意」、「非常 同意」。在「有效溝通與團隊合作的能力」占了78.00%' ，-執行工程實務所需技術、技巧及 使用工其之能力」則為77 .4 1% .而「設計工程系統、元件或製程之能力J (占 73 .1 3% )相對 之下是最低的。 Lattuca 等 (2006 )的調查結果中，超過半數以上(68.39% )的教師們同樣認 為畢業生在「有效溝通與團隊合作的能力」上的改變最大。 從問卷調查的結果看來，教師們大多同意工程教育認證的實施讓學生「更其備」這些核 心能力。換言之，不論是否擔任過校內主管的教師們皆一致認為工程教育認證實施後，學生 的核心能力是有提升。 然而，這樣的結果是源自於教師們實際測試、調查進一步分析、檢視後的結果，或是教 師們僅是憑凰覺填答的結果呢?Abu-JdayiI與 AI-Attar (2010) 和 AI-Nashash等 (2009 )在蒐 集課程的評量結果且透過多項問卷資料交叉比對後，才能夠提出學生核心能力在4 年後有所 增長的結論。因此，研究者認為有必要以深度訪談進一步瞭解工程相關系所及教師們如何評 估學生核心能力的達成情形。

二、以核心能力當作問卷題項無法呈現真實面

(一)問卷結果與訪談資料的差異 不同於問卷調查結果，受訪教師們大多表示工程教育認證實施後學生在核心能力上並無

37.8 9.4 37.5 8.2 37.9 9.9 I 31.8 7.1 J ':I.4 8.2 37.3 8.2 36.6 8.2 15.6 8.6 運用數學、科學及工程知誠的能力 設計與執行實驗，以及分析與解釋數據的能力 執行工程質務所需技術、技巧及使用工具之能力 設計工程系統、元件或製程之能力 有效措通與團隊合作的能力 發掘、分析及處理問題的能力 認識時事議題，瞭解工程技術對環境、社會及全球的影響， 並培養持緻學習的習慣與能力 理解專業倫理及社會責任 |﹒有點同意口同意口完全同意|

o

10 20 30 40 50 60 70 80 90 圖 3. 教師在「學生核心能力」向度表示同意之比例 太大差異。教師們認為是因課程內容變動不大、教學亦無太大改變，因此學生在表現上的差 異也就不大。 可是說有一個很突出的這個學生能力的不一樣，我覺得沒有，至少大概沒有變差， 我們學校現在也滿注重英文能力的，可是英文能力你說...嘖!他有沒有變好我也 不確定。 (A' 前系主任) (Q: 認證實施之後，那學生的能力上面有什麼樣的改變?就您的教學經驗來看。) 其實我不認為...我其實以我的立場來看，我覺得我不認為。 (H '系主任) 應該沒什麼差別吧!我看，學生也沒有多大的影響，或許他會覺得多有些業師〔業 界教師〕來一起上課，類似這些啦!進階的吧。 (L .系主任) 儘管受訪教師們的看法與問卷的結果有落差，卻與 Lattuca 等 (2006 )的調查結果有同樣 的情況:教師認為 1999 年代中期後的畢業生在多項的核心能力上並無太大的改變。 (二)評估就是以核心能力當作問卷題項 研究者思索:是真的沒有改變抑或教師們不知如何判斷與衡量學生的改變，困而研究者 轉為向受訪教師們請教該系所如何進行學生核心能力的評估，發現:大多數的系所評估學生 核心能力的方式，通常是將各個核心能力當作問卷之題項，運用五等量表由學生自行評量。 除了說有教學問卷以外...就是專門為 IEET· 做了叫 TEET 問卷，所以他不是針對 老師什麼教得認不認真。只是針對那個 TEET 的那個核心能力，或是說課程的目標這

•

56

.學生校心能力之評估 林妙真、張佩芬 樣子。...I EET 的問卷就會說你覺得你數學能力有沒有學到?因為我們前面可能寫 說這一門課是要加強數學能力，就說數學能力你有沒有學到，或是說這門課你覺得 你英語能力有沒有增加?學生就勾很同意或什麼不同意這樣，但是看起來那個最後 結果也只能這樣子。 (M' 前副教務長) 現在是還好，我們現在就變成說已經是...已經是確認的工作，就持續收。類似你 說像期初問卷、期末問卷，所以那個部分變成非做不可，就只有照做。現在.... 應該是說現在也不是說什麼特別的問題了啦!因為已經做了，那大家也都覺得這樣 做了，那就這樣做。 (H' 系主任) 因為那個問卷的設計就針對教育目標跟核心能力來作連結、來作評分，讓學生反應 給我們，說我們闊的課有哪幾個桔心能力的訓練是比較不夠的等等等。基本上問卷 就是依照系上的教育目標跟核心能力...讓他去勾選。 (P ，前系主任) 核心能力所陳述的各項能力，是抽象的、非具體可衡量( measurable) 的，讓學生依著各 項核心能力一一勾選，其信度與效度皆令人存疑:是否足以成為學生學習事證。然而，這卻 是一個普遍的現象，不論是在國立大學或是私立大學都存在這樣的情形。由此可知，大部分 的工程相關系所教師並未有「將核心能力轉換成可觀察且可測量的指標」之概念。

(三)未能分析、被視是難以落實持續改善之因

儘管這樣的問卷信度與效度可議，那麼各系所又是如何分析、解釋這些蒐集回來的資料 與問卷，但似乎大多數的系所並沒有做到這個部分。 那個部分我們沒有去對它去做一些分析，就是我們只有做...其實應該是說它要求 裡面的、要作的我們大概都有作，但是後面那塊的分析其實我們是沒有作的。... 其實應詰是說有些東西其實我們也沒有人力做，也就是說我們只能作最基本的。 (H' 系主任) 因為之前就是絕大多數的一些...這些表格啦!這些表格，就是其實我覺得作... 怎麼去把那個表格設計出來是最複雜的，那個*老師之前在做主任的時候都已經有 一些 base 了... 0

(Q

'認證推動小組) 大多數的系所可能礙於時間、人力，或是對於學習成效評估的不夠瞭解，未能將所蒐集 的資料進一步分析，但若未做這些後續的動作，如何確認學生是否達到其核心能力，又如何 落實持續改善呢?B 教師認為提供教師授課的講義、學生的考卷、成績單等即可檢視學生的核 心能力，若要深入分析，是認證委員的工作。由此可知，並非每位工程相關系所的教師都能

瞭解學生學習成效的評估與檢視。 說你核心能力，你怎麼證明你培養了你的學生有這些核心能力?那老師就只好提供 他們講義，對，講義可以證明說老師是有教這些，還有考卷，你考卷也可以證明說 你對學生的要求是仲麼樣子的，那考卷學生考完了，那些答案紙我們都會留下來... 沒有那麼深入，沒有那麼深入，不過再分析的時候，我是覺得那個就是認證委員的 事情。 (B .前系主任) 換言之，教師對於評估學生核心能力達成的機制仍是相當陌生。教師們尚末瞭解「評估」 之重要性及如何實行，考卷只是單門課某單元的評分 (grading) 。評估學生核心能力則包含 了直接與間接兩種，開設每一門課程之教師，對開授課程所要達成的核心能力，運用多元評 量的技巧，評估學生的學習進展，屬於形成性( formative) 的評量;而後者則是系所應利用學 校所建立之學生學習成效評估機制，依據系所所訂定之核心能力，在學生畢業時，評估學生 整體核心能力的達成情形，屬於總結性(

summative

)評量(王保進，

2011

)。而訪談資料所 發現的此種情況亦是研究者在文獻探討提到的:目前最大的問題在於末能進一步分析、解釋 評量結果、進而與核心能力的對應、提出改善機制。 問卷結果顯示:不論是否擔任過校內主管的教師們皆認為工程教育認證實施後，學生的 核心能力是有提升，不同於訪談結果:教師們認為差異不大。研究者發現，這樣的落差乃是 源自於絕大多數的系所在調查學生核心能力時，僅將核心能力當作問卷題目，未能將核心能 力轉換成可觀察且可測量的指標，致使各系所及教師難以有客觀的標準說明學生核心能力是 否提升。

三、「學生學習成效」品質保證機制一以 1 所學校為例

本研究接受訪談的教師中有兩位 (C 、 E) 所任職的學校/系所是以每一核心能力再細分 為若干個更具體的問卷題項或是評量標準來評量學生的學習，也就是評分規準的概念:將核 心能力轉化成可以具體評估的項目，也就是評量中常用的審查項目(

criteria)

0 E 主任更明白 地指出「核心能力轉換成可觀察且可測量的指標」的重要性。 〔核心能力〕文諦誨的，學生也看不懂，給他勾，就是亂勾的，所以我們把九條〔括 心能力〕展開成二十一條〔評分規準 J' ...學生針對他學的這個東西他會去勾，他 有沒有得到這個能力，英文能力或怎樣，我們用很多的很白話，學生勾的時候很容 易。 (E' 系主任) 欲評估學生核心能力的提升情形，除了來自學生的自我評量，授課教師也必須有一套客

•

58

.學生校心能力之評估 林妙真、張佩芬 觀的評分標準。而這個標準也必須與教育目標、核心能力環環相扣。在此節中，研究者將以 曾任教務長的 C 教師為例，進行探究與說明。一般的文獻多將評分規準運用於一門課中 'C 教師則是以校的層級運用評分規準於學生學習成效的評量上，因而以 C 教師為例。 (一)只重視課程、教學卻未重視評估的工程教育認證 C 教師認為，國內目前工程教育認證並未確實執行持續改善機制，因為 IEET 僅要求各個 系所教育目標、核心能力、課程規劃必須具有一致性，但學生的學習成效是否能呼應核心能 力卻是不得而知，且 IEET 在認證的過程中亦無相關的要求。 IEET 主要整個架構上，最後只做到課程規劃就沒了，後面的他就不行，它 [IEET] 只 說你要跟著你這個有關係的指標去做，可是沒有整個連結，指標用勾的，我這 個跟這幾個指標有闕，那勾的時候，評量應該也跟著這個去一致，好像也沒有樟視 這一塊。 IEET 的好處是讓老師知道說怎麼樣以核心能力來影響課程的規劃、架構還有他的內 容怎麼樣 carry out' 同樣一個東西可能不同老師教法，教出來的結果、教出來的方式 是不一樣，怎麼樣從這個核心能力裡面去讓老師學習怎麼樣...還有他認知的方式 教給學生，把技能這些教給學生，那至少這一點可以，但 IEET 的唯一就是在評量上

並沒有一些指標或是一些 indicatior 來要求老師這個方面去做 alignment' 這是 IEET

沒有。

IEET 只做課程，不做評量，那你這整個是做半套，根本沒有 feedback' 沒有 check

的部分，你評量才有辦法 check 你有沒有達到目標...他還是像以前一樣打一個分 數，那那個就是 60 分就達到，就說你達到你的教學目標，根本就跟以前一樣，中間 這個只是 paper work ，只是作為參考，從教育的角度看，根本不是真正的徹底的做。 (二)從評估學習成效著手 C 教師當時有了這樣的發現與認知，身為教務長的他，便試著在校內進行研究與改變。首 先，他將校訂的八個核心能力細分為 114 項標準，經過實作、研究後刪搞的項，再次實作與 研究以 40 項定案。這樣的過程，是 C 教師與該校教學發展中心、教研所的教師一起開會、討 論、進行系列研究所建立的。 本來有 114 個標準'因為我們學校全部 8 個能力，跟這個 IEET 用 mapmg 的方式， 本來有 8 個， IEET 剛好是 8 個，我們就用作 mapmg 的方式，所以我們只要做一套， 8 個裡面總共做出 114 個這種績效標準...然後第一年有學生畢業，就做一個前測、 後測，又經過樟討之後看它的相關性，就成成剩的個。後來又有學生畢業了，又做

一次，剩下的個，所以我們的個績效標準就夠用了。 b C 教師認為發展出這些績效標準後，不僅可以在評量學生核心能力的達成情形有所依歸， 更能讓教師在課程、教學與評量上有所依循，教師可以比較清楚如何去調整自己的教學、該 調整哪一個部分、學生的學習情形又是如何等，這些資訊是可以幫助教師的。也就是教育中 調準( alignment) 的概念，但並非所有理工學院的教師都瞭解「調準 J 'C 教師認為這是可以 慢慢帶給教師的概念。 指標不可能 equal 一樣重要，所以是不是應該要有一點配置?在課程的安排上、教學 的重點上，還有在評量的重點上就是盡量去學，但是老師根本不懂怎麼做

alignment. .. . ..

'但是這個可以學，慢慢來。

(三)運用科技減輕教師的負擔與反彈

C 教師為了落實持續改善，並協助教師們在課程、教學與評量的過程中達到持續改善的精 神，他認為「工具很重要」而設計一套系統，提供教師們使用。 人類的進步也是工具的進步，所以不然的話會變成空談，空談理想可是你沒有辦法 真的落實，落實是需要時間，因為老師要...第一個先改變觀念，第二個工具... 變成一個 system' 變成 system 就有一個好處，以後要改很容易，不必從頭在那邊弄， 那這個就會成為一個很好的運作的方式，我一直認為工欲善其事，必先利其器，才 能夠事半功倍。 以調準為例，若向教師們解釋「一個教育系統的構成要件(如課程標準、課程、評量與

教學)能夠共同工作以達成期待目標的程度 J

(Ananda

,

2003; Resnick

,

Rothman

,

Slatte句，&

Vranek

,

2004)

，似乎太過抽象、難以理解，但C 教師直接做給教師們看，核心能力、課程、 評量如何相互符應、相互調準。不僅化抽象為具體，也減少了教師一昧的抗拒心態。 這三個核心能力在這個課程裡教學的時候，三個核心能力在評量裡面要占多少百分 比，請系上要討論後訂出來之後，每門課都有跟這個核心能力關係的百分比，老師 再根據這些核心能力跟百分比去設計課程J!'t評量，而且呼應這個，所以這樣評量才 有辦法知道說到底這些核心能力有沒有真正達到。 因此，在要求教師們運用評分規準的過程'C 教師也同樣採用此種方式，先將系統完成， 再讓教師們一一填寫或勾選，之後的匯出表格、統計等就由系統完成。

•

60

·學生核心能力之評估 林妙真、張佩芬 評量尺 (rubrics) 怎麼做，就是老師剛開始的時候，把評量尺先做出來，先在電腦裡 面做好，什麼叫做超過標準'什麼叫符合，什麼叫未達，就做三層就好，這個能力 值、這個績效標準裡面，有三個 criteria 要看。 老師只要做他本來就該做的專業，他那些畫表格、批改，如果傳統這樣，每個寫好 之後還要自己算分數，或是找助教，這種事情就不要老師做，老師就是做專業判斷， 點完之後分數、統計全部是讓系統做。 如此便能做到評分規準檢視學生核心能力達成情形，教師們的工作在於:將評量項目訂 定具體描述與評分標準，勾選適宜的評量項目與評分標準﹒那麼系統則會完成教師們需要的 圖表或統計數據。再由教師們分析學生的學習狀況、能力優劣及待補足之處。倘若學生可藉 著學習評量獲得即時回饋，並進行即時改善，搭配學校及系所的學習輔導，那麼每位學生將 能達成預定的學習成效。當時身為教務長的 C 教師為了讓教師有所依循，又可減輕人事上的 負擔，希望這樣的系統能夠提高教師們的接受度與使用性。 我們怕大家看到又嚇到，就是評量尺，評量尺我把它做成系統，因為你如果不把它 做成系統的話，也知道評量尺做矩陣，先把評量的 criteria 寫好，然後再來每個學生 有一張這個空白白色，他每個人有一個，如果都把這個換成電腦，電腦再點上去，點 完，成績就出來了，統計報表都幫你做出來，這裡有多少學生達到，通通做出來， 那個我們把它變成系統。 如果要靠老師草人之力去做這件事，是很吃力的，要作這些 bookkeeping .要做這些 表格，要做這些東西，如果說一個系來做，也需要一、兩個專任助理把全系的東西 整理，那也是滿吃力的。 (四)肯定評分規準對學生學習的助益 當研究者問到 C 教師:工程教育認證實施後學生的核心能力有否提升時，相對於其他教 師認為改變不大 ·c 教師給出了不同的答案:為了檢視學生的核心能力、學習表現，所建構的 評分規準架構，讓學生很清楚知道自己在哪方面表現優異，哪方面需要加強，不是只有一個 無法判斷好壞的分數。 我發現因為有這個架構，這個等於是一個架構的規劃給學生看，然後我在教課的時 候，或是說我在評他的時候，也會告訴他們這個架構，或是口試的時候也順便告訴、 教他，口試其實目的就是幫他...哪裡漏掉，幫他拉一拉，撐一下這個架構，能撐 多高儘量撐，然後就發現這些學生比較有架構式，架構是很重要的...我發覺這一

要的，學生需要的是學術方法...要的是那個架構，你要的是對這個東西的了解， 所以也就是說 outcome-based 的學習。 C 教師認為:學生在評分規準的架構下，不但能在自己的學習歷程發展專業能力，並對學 習後設能力有更多的提升與掌控，學習「如何學」的方法那才是他真正想傳遞給學生的。 工程教育認證實施後，儘管各系所皆知道評鑑學生學習成效的必要性，但綜觀各系所實 施學生核心能力的評估情形，發現僅有極少數的結果與學生真正達成的學習成效有關，這也 是目前國內工程教育認證最大的挑戰。評分規準不僅讓教師們知道如何調準自己的課程目 標、教學活動與評量方式，並明確回應學生對於評分高低的疑問，對學生在能力方面的提升 也是很重要的;對學生而言，透過評分規準清楚的描述教師自己是如何評量他們、也知道教 師的期待站何，評分規準也提供學生在優點及待改進之處更多的回饋。

伍、結論與建議

本研究主要目的是以大學工學院、資電學院教師的觀點探究工程及科技教育認證制度實 施對學生核心能力的影響，並探討目前國內各工程相關系所評估學生核心能力的方式。透過 問卷調查、教師、系主任、院長的訪談及相關文件資料蒐集，分析並探討目前國內工程及科 技教育認證制度的問題與挑戰。以下綜合研究發現與討論，提出本研究的結論及建議。 一一、生土王.6 亦日函間 首先，從問卷調查的結果發現:除「設計工程系統、元件或製程之能力」外，教師們認 為工程教育認證制度實施後學生的各項能力是有所提升。曾經或現任校內主管的教師對於學 生核心能力看法的整體平均值是高於教師的，且達顯著差異，此項結果與 Lattuca 等 (2006

)

的研究相同。研究者推測是因為曾任或現任校內主管的教師必須承擔大多數工程教育認證的 準備責任，對於學生核心能力比個別的教師有更多的知覺。 其次，就訪談結果來看，不論是否擔任過系主任、院長，受訪教師們都表示工程教育認 證實施前後，學生各項核心能力的差異不大。研究者進一步發現:大部分系所評估學生核心 能力的方式是將核心能力當作問卷題項，交由學生填答，當作是評估機制;問卷實施後也未 分析與檢視，因而難以落實持續改善之效。再者，核心能力並非可觀察、可測量的指標或規 準，要學生以此填答不僅是困難的，結果也有可能失準。研究者認為工程相關系所的教師對 於學生核心能力的評估仍是陌生的，倘若各系所無法確實瞭解學生的學習成效，又如何進行 系所的持續改善，這也成了工程及科技教育認證制度日後能否落實持續改善的關鍵問題。 第三，評量規準是評量學生核心能力的有效方式。本研究受訪的 20 位教師僅有 2 位教師 提到該校、該系所運用評量規準於工程教育認證中。研究者以其中 l 位教師任教的學校為例，

•

62

·學生核心能力之評估 林妙真、張佩菲 探討該校如何推行與落實學生學習成效之品質保證。該校以評分規準為概念，發展明確化的 目標及確認目標是否達成的續效指標，同時結合資訊系統發展一系列的操作平臺，一方面讓 教師容易使用，另一方面也減少教師們面對工程及科技教育認證制度所帶來的負擔。同時， 驗證評量規準之發展與運作，能幫助教師運用從評量所獲得的資訊、提供學生修正自己的學 習弱點，同時提供系所、教師下一次的改進依據，以落實持續改善。

二、建議

綜合以上的研究發現與結論，本研究首先針對評量規準的應用提出具體建議。另方面， 針對本研究限制之處對未來的研究提出看法，以增加日後評量學生學習成效之效益。 (一)確認運用評量規準之評量目的 本研究中 C 教師的例子是以「校」的層級運用評量規準，因此考量的面向必須是全面的， 包含:學生在學期間、學期中與學期末對課程活動進行形成性及總結性學習回饋;系所課程 內涵及重點培育能力，每門科目的課程指標及權重各為何，以瞭解課程核心能力培育及教師 教學之成效，除了回饋給授課教師作為教學改善依據，學生亦可清楚看出自己現階段的學習 情形。 倘若教師欲將評量規準應用於一門課時，教師需思考的是. ，.學生需要何種教材教法以達 成所想要達成的學習成果?學生可藉由何種作業型態(報告、練習題、計畫)或學習經歷(討 論、實驗、校外教學、團隊合作)來增進他們對課程內容的瞭解及重要能力的訓練。學生如 何證明已符合本課程的學習目標(評量類型及內容)

?

J (李紋霞.

2012

)。 兩者的目的不同，評量規準的設計也有所不同，其形式與向度更有著很大的差異。因此， 應用評量規準必須先確認評量的目的、對象為何，再進一步建立定義清楚地評估標準、子標 題。如此，才能使評量規準發揮其最大功效。 (二)建立評量規準資料庫 對於未具教育背景的工程相關科系教師而言，評量規準發展與建立是相當不容易的， Besterfield-Sacre 等 (2004 )的研究中說明其評量規準細目的發展經過了至少三次的審查與修 訂。未來要落實學生學習成效的評量，國內各工程相關系所必須發展評量規準。因此，建議 可由教育評量專家建立各項核心能力之評量規準資料庫，工程相關系所從資料庫中擷取，或 依此為基礎再加以修訂。 (三)對未來研究之建議 Lattuca 等 (2006 )分別調查 1994 年及 2004 年的畢業生來比較美國工程教育認證實施前、 後的差異。本研究目的雖為探究工程教育認證實施後對學生核心能力之影響，但是以教師為 研究對象。再者，國內目前通過工程教育認證共有73 校 595 個系所，換言之，大部分的系所

皆已參與認證，若要找到尚未參與認證的系所來對照，是較為困難。大部分的教師皆是從認 證實施前任教至今，因而只能以追溯的方式進行資料之蒐集。故，缺乏對照組乃本研究限制 之一。建議未來研究者可採 Lattuca 等人的方式針對工程教育認證實施前與後的畢業生進行調 查與比較、分析，相信更能看出工程教育認證實施的影響。 再者，為了改善臺灣大專院校的教學品質，教育部於 2004 年公布了獎勵「大學教學卓越 計畫 J '而 2006 年開始，為因應此國際競爭趨勢，亦推動「邁向頂尖大學計畫 J '這些計畫 推展的同時，剛好是國內工程教育認證制度推行時期，且這些計畫與工程教育認證的精神是 一致的。不管系所申請的是「教學卓越計畫」或「頂尖大學計畫 J '皆可與工程教育認證制 度相得益彰。研究者未將此因素排除，是本研究限制之二。故，建議未來研究者應加入「教 學卓越計畫」或「頂尖大學計畫」的影響。

誌謝

本研究承蒙行政院國家科學委員會經費補助(計畫編號:

NSC 10 1-2511-S-008-008)

，在 此敬致謝忱。