系在進行個人申請作業時,均採用「評量尺規」(rubrics)來對高中生的書審資 料進行評分,藉以找到符合各校系特質的學生(教育部,2018)。本校(靜宜大
所示),並採用該評量尺規來對考生審查資料進行評分。
圖1 書面審查評量尺規範例
資料來源:劉孟奇(2018)。結合大學選才與高中育才。取自 http://www.kmsh.tn.edu.tw/km107/108-1080525-20min.pdf
三、 本校執行歷程
本校於 107 學年度計畫執行之初,共計有 3 學院 12 學系執行書審評量尺 規,108 學年度則擴增至 5 學院 17 學系,並預計 109 學年度廣邀所有學院加入 辦理。試辦學系之書審佔總分比例大致在20%以上,以彰顯書審專業化後對招生 決策之有效性。在發展並運用評量尺規於個人申請作業時,概可分為發展評量尺 規、模擬審查、正式書審等三個階段,如圖2 所示,茲闡述各階段重點如下(沈 碩彬、林家禎、鄭志文,2019):
圖 2 本校執行招生專業化計畫的三大階段
(一) 發展評量尺規
本校一開始會邀請各試辦學系按照教育部所給的評量尺規範本,設計出符合 自己學系需求的評量尺規。評量尺規可以設置如高中修課表現、自傳與學習計 畫、多元表現等面向,每一面向均有其佔比,所有面向合計比例為100%。再者,
每一面向均可分為數個等第,本校以5 等第為原則,每一等第則設置分數範圍,
並需敘明當考生未依規定上傳齊全資料時,應如何給分等細節,以助評分更為系 統化、專業化。
其次,本校會以校、院為單位,去邀請高中教務主任、輔導主任與教師一同 討論評量尺規內容的適切性,藉此我們收集到不少寶貴的意見,例如:(1)本校 是想要招收到對該學系有興趣的學生,還是有能力的學生呢?(2)若是過分強調 幹部,可能造成收集證書等集點歪風;(3)宜以心得、過程來取代證照、獎狀,
以彰顯學生珍貴的學習歷程。再者,本校會一併參考與高中對談的意見,以及教 育部對本校各學系評量尺規的修正建議,由各學系滾動式地修正評量尺規內容。
(二) 模擬審查
本校自第一年辦理開始,為協助各試辦學系熟悉以評量尺規評分的過程,遂 執行模擬審查作業。首先,從每學系隨機抽樣出20 位前一學年個人申請報名第 二階段指定項目甄試之考生,再由各試辦學系指派委員試評上述20 位學生的書 審資料。在收回大家的評分資料後,本校會進行等評分者信度(scorer reliability)、
跨年度相似度、跨年度相異度、差分檢核(各委員的評分是否差距平均分數 5 分以上)等模擬審查結果分析。在上述分析結果中,本校以評分者信度、差分檢 核為主,跨年度相似度、相異度為輔,建議各學系逕行採用評量尺規或斟酌修改 評量尺規內容。
(三) 正式書審
目前在每年4 月是個人申請第二階段的書面資料審查時期,也是正式採用評 量尺規評分的重要時刻,本校研擬幾項措施,以增進書審評分的有效性,例如:
(1)開發書審成績輸入系統:此系統可便利審查委員同時輸入成績與等第,並具 有檢核等第與成績是否相符的功能;(2)組內採用差分檢核機制:利用「差分檢 核計算表」,立即找出評分差距平均值超過5 分之考生,並請審查委員再次檢視 並評分;(3)組間採用分組評分標準化作業:當申請學生人數眾多時,為了避免 同一位審查委員審查太多份資料而產生疲勞,有些學系會採取分組審查作業,以 維持審查的專業品質。然而,不同組審查委員可能還是會有較寬鬆或較嚴格的評 分系統性偏誤,便需藉由此標準化作業,以幫助不同組間的考生分數可以互相比 評。
在先前模擬審查時,每學系被評量的學生資料僅20 人,與此階段實際書審 作業可能達數百人的狀況並不完全相同,因此也會有需要即時調整作法,或待隔 年再改進的部分。本校在執行正式書審後,立即進行各等第人數彙整、各委員評 分平均值與標準差、總分人數分布(集中趨勢與偏態)、評分者信度、差分檢核
等結果分析,並請各學系回饋採用評量尺規書審的心得與建議,以供來年調整評 量尺規內容與相關作法。
四、 相關校務研究與發現
本校有規劃執行若干校務研究議題,以彰顯用事證為基礎(evidenced-based)
的校務決策精神,分析機制如圖 3 所示。目前對計畫執行的成效有幾項分析發 現,茲列舉三項說明如下:
圖 3 本校招生專業化辦公室議題分析機制圖
(一) 模擬審查有助各學系發展出更為有效的評量尺規內容
依據第二年模擬審查作業的評分者信度、跨年度相似度、跨年度相異度、差 分檢核等分析結果,本校發現:第一年即參與試辦的學系中,第二年絕大多數學 系的各項數據均有所進步;第二年首度辦理的學系,則是由於有第一年試辦學系 的經驗分享等協助,其各項數據也能在一定水準之上。
(二) 多數學系書審成績與是否正取有正相關,可突顯書審專業化的重要性
在試辦學系中,絕大多數書審成績與是否正取結果均有顯著正相關,突顯評 量尺規書審作業有助決定錄取人選,因此專業化評選過程更顯重要。然而,有極 少數學系的書審成績與錄取結果未達顯著正相關,原因可能是書審成績所占比例 過低,因此需在明年酌予增加書審成績比例。
(三) 107 學年度試辦學系中正取生的大一成績普遍優於備取生
本校針對各試辦學系中,107 學年度申請入學正、備取生,其大一總成績排 名前、後50%之人數進行比較後,發現:絕大多數學系其正取生的大一成績普遍
位於班前段。此顯示:試辦學系的招考過程有一定鑑別度,可以篩選進來比較優 質的學生,因而正取生的整體成績表現較佳。至於,有極少數學系的正取生整體 成績表現反而較差,建議可後續思考精進其擇才標準,並加強在學生之課程學習。
綜言之,上述校務研究分析主要在於解釋計畫執行的成效,更長遠來看,高 中育才、大學擇才、畢業就業是三個連動的區塊,此也是連結此計畫未來要進行 的校務研究分析議題之一(沈碩彬、林家禎,2018),值得未來多加關注。
五、 未來發展
此計畫目前已邁入第三年,本校雖然累積一些執行經驗,卻也有需要再反思 並加強之處,茲列點闡述如後:
(一) 需再研議「多元擇優」尺規施行方式,以擇取更優質的學生
本文先前提及的評量尺規主要是以「合成加總」(composite criteria)的方式 來呈現,此舉雖然是常見的作法,卻也可能因各面向間具有互補性,被錄取成員 容易有同質性高的問題。因而劉兆明(2018)建議宜斟酌採用「多元擇優」(multiple criteria)評量尺規,能夠同時顯現各面向強弱,各層面擇優考慮,則被錄取成員 才能具有高度多元性。本校在考量學生特質後,將引導學系適度納入多元擇優與 合成加總評量尺規雙軌並行,例如:在某重點面向相當優秀者,特別提出來討論 晉級加分等彈性作法。
(二) 審查委員對評量尺規的共識要從相對標準逐漸提升到絕對標準
比起事後的組內差分檢核或組間分組評分標準化作業而言,其實事前審查委 員間對評量尺規內容的共識更為重要。以人工審查而言,即使使用同一份評量尺 規,仍然無法完全避免個人主觀的偏誤影響。因此,若能至少建立相對標準共識,
並盡量朝絕對標準共識邁進即可。意即:若書審委員 A 對甲、乙、丙三位學生 的評分為95、90、85,但書審委員 B 對此三位學生的評分為 90、85、80,A、B 兩位審查委員對他們的評分由高至低均是:甲、乙、丙,但他們評分的成績並不 完全相同,此即相對標準共識。人工審查若要建立絕對標準共識,難度較高,因 此至少要建立相對標準共識,且各面向評分盡量落在同等第較佳,即使有等第落 差也不要超過一個以上。因此,加強對評量尺規擇才標準的共識仍是計畫執行的 重點項目。
(三) 可研擬將書審評量尺規的執行經驗,妥善運用在面試評量尺規上
招生專業化的精神在於透過更為專業化的過程來幫助審查委員評分,雖然計 畫本身只聚焦在書審作業,但本校已著手擬定面試評量尺規內容。然而,面試與 書審的作業程序不同,也會影響執行面試評量尺規的流暢度。例如:有不少學系 面試時採用跑關的方式,不同老師審查不同項目,那麼要進行差分檢核就會有困 難。再者,差分檢核要求老師都留下來檢視分數到最後一刻,也會讓老師難以配 合。因此,需再規劃更完善的面試流程,以利各學系遵照辦理。
最後,本校在執行招生專業化發展試辦計畫的過程中,有分為分析規劃、行 政試務及高中合作等三組,各組均需通力合作,除了對內團結有徹底執行計畫的 決心外,對於高中也要積極進行新課綱課程合作的對話(沈碩彬、鄭志文,2019),
期許能在知己知彼的情況下,為高中育才與大學擇才創造雙贏的空間,也能夠為 國家人才培力盡棉薄之力。
參考文獻
沈碩彬、林家禎(2018)。招生-在學-就業之整合性分析系統。載於林家禎 主編之
2018校務研究高教深耕學術研討會-學生跨域學習vs.社會影響暨優久大學
聯盟校務研究分享會論文集(頁53-57)。臺中市:靜宜大學校務研究辦公室。 沈碩彬、林家禎、鄭志文(2019)。招生專業化計畫結合校務研究之作法。
載於鄭志文主編之