本論文的研究架構,是以認知心理學的層面分析學生的認知理解與解題能力,
這些層面包括學生的概念學習與作答類型,試題的屬性與試題難度的關係。本研 究是從 96-100 學年度指考化學考科試題,了解其試題類型,影響試題難度的變 項與學生作答分析。試題類型的分析,針對試題的表面特徵與解題所需的認知層 次,採學科專家判斷法與統計分析法,並對這兩種方法進行比較;影響試題難度 的變項,則採多元迴歸的分析方法,並建立預測試題難度的預估模式;學生作答 的分析,則是分析學生作答較困難的選擇題與非選擇題的答題情況,其呈現的答 題類型,並探究其原因。
本研究採用 96-100 學年度指考化學考科試題,依據 Costu(2007)、Zoller 等人(2002)分類方式,先將各年度的試題分為:文本敘述、演算問題解決、圖 形理解、及實驗問題解決四種題型;並依解題所需的認知技能,區分為較高階 認知技能與較低階認知技能。這些不同的題型,均為試題屬性的一環。根據Enright 等人(1993),對試題屬性的定義是包括題幹屬性、選項屬性與操作屬性。題幹 與選項的屬性是指題幹陳述與選項特徵的分類,操作的屬性則是指試題的認知要 求以及試題所要求的知識層次。這些試題屬性是影響試題難度的重要變項。利用
66
這些變項,對試題難度進行迴歸分析,並得到預測的模式。然後,再藉由學生作 答較困難的試題,經由學科專家的問卷分析,了解這些學生作答較困難的試題與 影響試題難度變項的關係。
一、試題類型的研究
試題類型的分析研究,將採兩種分類標準,一種是參考智力測驗的分類標準,
將試題的類型,按照智力測驗的語、數、形三種型式進行分類。「語」是指語文 的字詞及語法和語文推理;「數」則是指邏輯推理與數學推理;「形」是指空間關 係與機械推理。由於過去文獻的題型分類,是以概念理解、演算問題解決與圖形 理解作為分類的基礎,本研究是將指考化學考科的試題,以測驗考生概念理解為 出發點,並以試題不同的外在類型為分類的基礎,所採取的試題類型包括:文本
試題屬性:
․題幹與選項屬性
․操作屬性 試題類型:
․文本敘述
․演算問題解決
․圖形理解
․實驗問題解決
試題的難度
(答對率或得分率)
學生作答較困難 的試題
圖3-1-1 本論文的研究架構
敘述(text description)、演算問題解決(algorithmic problem solving)、圖形理解
(graphic understanding),再加上實驗問題解決(experimental problem solving),
故本研究以文本敘述、演算、圖形、實驗作為試題類型的分類基礎。除了試題外
68
這些基本知識或演算法則,大都已深植於考生心中,且情境較為熟悉的情況下,
考生應有較高的答對率。
二、試題難度的研究
就試題的難度而言,本研究參考文獻中所提之影響試題難度的變項,再參酌 化學的學科特性,初步擬定影響指考化學考科試題難度的變項,如表3-1-2 所示。
表3-1-2 初擬影響指考化學考科試題難度的變項
影響試題難度的變項 定義與分類
解題所需的知識類別數量 包括陳述性知識(事實、概念或理論)或程序性知識(演算 步驟或規則)的數量,以1 代表 1 種、2 代表 2 種,數目愈 高代表所需的知識類別數量愈多
步驟數 指解題所需的步驟數,1 代表一種步驟,2 代表二種步驟,3 代表三種步驟數以上
認知層次 分為記憶、理解、應用、分析、綜合、評鑑。以兩種層次為 一層級,共分為三種層級。以1 代表記憶與理解,2 代表應 用與分析、3 代表評鑑與創造
概念的抽象程度 可分為較具體的概念,以1 表示;或較抽象的概念,以 2 表 示
選項之間的差異程度 包括差異小,選項僅有一種類型,以1 表示;差異中等,有 2 種類型,以 2 表示;差異大,有 3 種以上的類型,則以 3 表示
圖表有無 題幹或選項均無圖表,以0 表示;題幹或選項具圖表,以 1 表示
試題的新穎程度 包含低、中、高三種,低是指過去曾有類似題、以1 表示;
中是指介於新穎與考古題之間,以2 表示;高是指一般坊間 書籍較少出現,以3 表示
根據上述試題的7 種變項,將與試題難度進行皮爾生相關分析,並以試題的 難度值(答對率或得分率)為依變項,初擬影響指考化學考科試題難度的變項為 自變項,了解這些變項對試題難度變異量的解釋程度。
就試題難度研究的設計而言,整體的設計如圖3-1-2 所示。研究者初擬影響 試題難度的變項,包括表3-1-1 的 7 種變因,再邀請 2 位高中教師與 3 大學教授 舉行焦點座談會討論。與會者認為「概念的抽象程度」不易定義,建議刪除此一 影響變項。故影響指考化學考科試題難度的試題屬性共有六個變項,分別是:解 題所需知識類別數量、步驟數、認知層次、選項之間的差異程度、圖表有無與試 題的新穎程度。根據此定案內容,分別邀請高中教師、大學教授與本論文的研究 者,就 96-100 學年度指考化學考科試題,進行影響難度變項的學科專家判斷,
並計算評分者間的一致性信度。最後,利用試題的難度(答對率或得分率)作為 應變數,影響試題難度的因素為自變數,進行多元迴歸分析,以建立預估試題難 度的迴歸方程式。分析具影響的變項,並建立預估試題難度的迴歸方程式。
三、學生作答較困難的試題研究
第三部分是關於學生作答情況的研究,著重的是學生作答較困難的試題進行 探究,所謂的作答較困難的試題,是指各年度試題難度值在30%以下的試題或高 分組考生誘答選項選答超過20%的的試題,作為學生作答較困難的試題。針對這
初擬影響試題難度的因素
焦點座談
學科專家判斷
以難度值(答對率或得分率)
對試題的屬性進行迴歸分析
圖3-1-2 影響試題難度因素研究的設計
70
些試題,邀請3 位高中教師與 3 位大學教授,進行學生作答上較困難試題的問卷 調查,這些專家所提供的原因,將與影響試題難度的變項進行比較,以了解彼此 間的相似性與差異性。除此之外,關於非選擇題的部分,本論文分析 97-100 年 考生非選擇題的作答情況,利用每年一大題考生的作答,分成不同層級的作答比 較,這種不同層級的考生表現,可作為非選擇題難度控制的重要指標。