第二章 文獻探討
第一節 建構反應題與國際評量之建構反應題題型
第一節 建構反應題與國際評量之建構反應題題型
壹、建構反應題
建構反應題(constructed-response items),形式為非選擇題題型,需要學生寫 出自己的作答內容(Popham, 2000, p.226)。可以用來評量學生解釋、統整、應用、
分析、評估與表達科學資訊之能力。(National Assessment Governing Board, 2004)。
建構反應題能讓學生展現獨立思考、自我批判、組織整合與系統評鑑之能力(教 育部,2004),是學生可以依據題目,自由呈現想法、表達陳述與解釋作答的測 驗題型,用以評量學生解釋前後因果關係、描述以及應用原理、剖析論證、假 設關係、組織與整合資訊、表達自我想法…等能力(Linn & Gronlund, 2000)。舉 例來說,在數學科領域利用建構反應題,可以從學生的解題過程、利用文字解 釋數學定理、或是以圖解方式解答數學來評量學生的數學能力(Livingston, 2009)。
建構反應題可分為簡答題(short answer item)、填充題(completion item)與論 文題(essay item)。簡答題能測量特定事實的記憶,填充題要求學生在已知的條 件下,填入明確的答案;論文題則為開放式試題,可以讓學生自由呈現答案,
可以測量組織、綜合、評鑑及解決問題的能力。然而論文題又可分為限制反應 題(restricted-response question)和擴展反應題(extended-response question),限制反 應題會對於學生的作答形式有所限制,擴展反應題則給予學生更開放的答題空 間,常見的擴展反應題即為申論題(郭生玉,2007;盧雪梅,2009)。本研究採 用之建構反應題題型為限制反應題,避免猜測因素影響施測結果,以及答題範 圍過大而難以客觀評分,並期望藉著利用電腦自動化判別系統,改善以往限制 反應題在人工閱卷上的費時費力與評分不易客觀之缺失(鄭涵,2010)。
貳、建構反應試題在教育測驗上的應用
由上述文獻可知,建構反應題具有選擇題所無法達到的測量功能,因此在 傳統的紙筆測驗中,通常會設法加入建構反應題,以補足只有選擇題型的不足。
然而,若建構題題型採紙筆測驗,測驗結果也採用人工閱卷方式評分,計分及診 斷分析將非常費時費力,因此,有部分學者嘗試將建構反應試題開發成電腦化建 構反應題型,採電腦作業方式作答,但是只是純粹將試題電腦化,評量後的試題 作答分析仍仰賴人工閱卷,而人工閱卷的評分較不具客觀因素(鄭涵,2010)。
為改進此缺失,電腦化建構反應題型具備自動計分及自動診斷的功能是一必要的 發展方向。研究者整理國內學者所進行將建構反應題應用於教育測驗的相關研究
(如表2-1-1),亦發現此研究趨勢。故本研究欲建置可自動計分之建構反應題線 上診斷系統,並將建構題之分析結果加入貝氏網路,藉以提高學生錯誤類型與子 技能有無之辨識率。
表 2-1-1 建構反應題在教育測驗上之相關研究
表 2-1-1 建構反應題在教育測驗上之相關研究(續)
表 2-1-1 建構反應題在教育測驗上之相關研究(續)
表 2-1-1 建構反應題在教育測驗上之相關研究(續)
研究者 論文名稱 研究內容摘要
梁志強 (2010)
人工智慧方法於線上診 斷測驗之應用~以國小 五年級「表面積」為例
研發電腦線上診斷測驗教材,使用 於實際教學的實驗。研究範圍為國 小五年級數學科領域「表面積」單 元,並編製知識結構圖、貝氏網路 圖來進行設計電腦適性測驗的數位 教材,編製型式以選擇題及建構反 應題為主。選定實驗對象後進行教 學,教學完後一週給予實驗對象進 行電腦線上診斷系統測驗,以測量 教學及測驗之效果。
簡啟全 (2011)
國中數學科「相似形」
單元電腦化測驗與診斷 模式研發
本研究單元「相似形」之電腦化建 構反應題可以診斷出學生的多種錯 誤類型,有助於學生知道自己的錯 誤概念,也可幫助教師掌握學生的 錯誤類型,進行集體補救教學。
叁、國際評量之建構反應題題型
一、國家教育進展評量(The National Assessment of Educational Progress, NAEP)
(一)簡介
國家教育進展評量(NAEP)定期評量美國四、八、十二年級學生在數學、閱 讀、科學、寫作、藝術、公民、經濟、地理與美國歷史的學習成就。每十年都 會重新檢視與更新主要的評量內容(Lee, Grigg, & Dion, 2007)。
(二)NAEP 的建構反應試題題型範例
以 2011 年 8 年級的測驗試題為例,其題目及計分方式說明如下:
1.題目
Josh 家到外婆家距離與時間的關係圖,如圖 2-1-1。
圖 2-1-1 NAEP 的建構反應題型範例,以 2011 年 8 年級的測驗試題為例:Josh 家到外婆家距離與時間的關係圖。
(1)求出 Josh 家到外婆家的距離。
(2)從 Josh 家到外婆家要花多少時間?
(3)Josh 的平均速度為何?請說明你的答案。
(4)請說明為什麼圖形會與 x 軸有交點?
2.解答(Key/Scoring Guide):
(1)正確的寫出 160 公尺(160 miles.)。
(2)正確的寫出 4 小時(4 hours.)。
(3)平均速度為 40 公尺/小時(40 miles per hour. )。
(4)Josh 已經到外婆家了,所以與外婆家的距離為 0。
3.得分與說明(Score & Description):
(1)正確的回答(extended):四小題完全答對。
(2)令人滿意的答案(satisfactory):四小題中,答對了其中三小題。
(3)部分答對(Partial):四小題中,答對了其中兩小題。
(4)答對最小部分(Minimal):四小題中,答對了其中一小題。
(5)錯誤的回答(Incorrect):四小題完全答錯。
二、國際學生能力評量計畫(the Programme for International Student Assessment, PISA)
(一)簡介
國際學生能力評量計劃(the Programme for International Student Assessment,
PISA),為經濟合作暨發展組織 (Organisation for Economic Co-operation and Development, OECD)自 1997 年起籌劃跨國評量計劃,重點在評估十五歲學生的 知識技能包括;溝通、適應性、學習策略、彈性、時間管理、自我信念、問題 解決、資訊技巧等,除了紙筆測驗外亦有開發線上評量系統,2012 年的測驗內 容是以數學為主科,表 2-1-2 為 PISA 2012 數學素養評量在各歷程所佔的百分比,
閱讀和科學為輔,另加測線上問題解決能力 (problem solving) (臺灣 PISA 國 家研究中心,2010 年 7 月)。
表 2-1-2 PISA 2012 數學素養評量在各歷程所佔的百分比
轉化 解題 建模 合計
40-50% 40-50% 10-20% 100%
(二)PISA 的建構反應題型範例
以 2009 年學生能力國際評量計劃中文網站數學科樣本試題為例,其題目及 計分方式說明如下:
1.題目
圖 2-1-2 為一個男生步行的腳印。步長 P 表示兩個連續腳步腳跟之間的距離。
下列公式表示男生步行時 n 與 P 之間的大略關係:
,n:每分鐘的步數,p:步長(公尺)
如果此公式適用於海翔的步行,若他每分鐘步行 70 步,則他的步長為何?請寫 出你的作法。
圖 2-1-2 PISA 的建構反應題型範例,以 2009 年學生能力國際評量計劃中文網 站數學科樣本試題為例:一個男生步行的腳印
2.計分說明。
上述例題之多元計分方式如表 2-1-3 所示。
表 2-1-3 PISA 的建構反應題型計分範例,以 2009 年學生能力國際評量計劃中文 網站數學科樣本試題為例
得分 滿分 部分分數 零分
代號 2 1 0 9
作答反應範例 70=140p 將數字正確地 代入公式,但 答案不正確。
其他答案 沒有作答
三、國際數理趨勢研究(TIMSS)
(一)簡介
國際數理趨勢研究(Trends for International Mathematics and Science Study, TIMSS) 由 國 際 教 育 學 習 成 就 調 查 委 員 會 (International Association for the Evaluation of Educational Achievement, IEA)主辦,自 1995 年開始,每隔四年針 對四年級與八年級學生進行抽樣,評量數學與科學的學習成就。提供各國長期 追蹤學生數學與科學學習成就趨勢,以瞭解其在教育與課程改革等措施。
(二)、TIMSS 的建構反應題型範例
以 2007 年四年級的測驗試題為例,其題目及計分方式說明如下:
1.題目
圖 2-1-3 為兩個圖形,請各寫出一個相同處及一個相異處。
A B
圖 2-1-3 TIMMS 的建構反應題型範例,以 2007 年數學科四年級樣本試題為例:
圖形 A 與圖形 B
2.計分說明
上述例題之多元計分方式如表2-1-4所示。
表 2-1-4 TIMMS 的建構反應題型計分範例,以 2009 年數學科四年級樣本試題 為例
相同處 正確的作答
代號10 都有三個角、都有三個邊、都是三角形。
不正確的作答
代號70 形狀相同。
沒有作答
代號99 空白。
相異處 正確的作答
代號10 一個是直角三角形,一個是等腰三角形。
不正確的作答
代號79 其它不正確回答(包括不完整、不合理或其他不相關內容…等)。
沒有作答
代號99 空白。