高中化學成就測驗的試題類型與考生答題結果分析之研究

(1)

高中化學成就測驗的試題類型與

考生答題結果分析之研究

吳國良 1 ，2 邱美虹 2* l 財團法人大學入學考試中心 2 國立臺灣師範大學科學教育研究所摘要本研究使用大學入學考試中心(簡稱大考中心)所編製的研究用試卷，探討試題類型與考生答題結果。該成就測驗是由五位大學化學系四大領域(有機、無機、分析、物 it) 的教授，依照課程綱要內容編製而成，內容涵蓋高中化學的主要概念，並依照不同的試題類型區分為選擇題與非選擇題。其中，選擇題涵蓋概念理解、圖形理解、演算問題解決等能力之試題;非選擇題則是包括概念理解、演算問題解決、實驗問題解決以及需要利用推理、綜合和分析等能力之試題，亦即所謂較高階認知技能的試題。研究對象為北、中、南地區，四所公立高中、三所私立高中，共 11 15 位高三學生參加測試。根據主成分分析結果顯示，有三個因素的初始特徵值大於1. 0 。其中，因素 l 屬概念理解，因素 2 屬較高階認知技能，因素 3 屬圖形理解。研究者進一步利用集群分析發現，具圖形理解特質的試題有群集的傾向，具高階認知技能的試題亦表現出較高的相似性，此二類試題與其他概念理解的試題有較大的差異性。綜合專家分類、主成分分析與集群分析的結果，可說明此成就測驗包含:圖形理解試題、較高階認知技能試題與概念理解試題。此外，本研究利用考生不熟悉情境的非選擇題題型，測驗考生應用氧 t 還原概念原理的能力 o 研究結果顯示，某些考生會誤將有機 t 合物的矮酸當成兩種官能基，即趕基和 1炭基;另外，當考生無法利用氧 t 還原概念，推出合理答案時，則會嘗試以合乎題幹敘述的記憶性知識回答問題。換吉之，部分學生會利用提取的方式，找出合乎要求的答案，而未注意到答案的合理性與邏輯性 o 綜合來說，本研究顯示，此次{七學成就測驗的題型包括，概念理解、圖形理解與較高階認知技能的評量，而其中更重要的是宜利用圖形檢測學生讀圖與詮釋變數間的關條以及培養學生高階思考的能力，此研究結果盼能促進高中他學教學與評量的重點，並作為未來大規模入學考試試題設計之參考。關鍵詞:成就測驗、概念理解、圖形理解、較高階認知技能、述思概念、高中 it 學 *為本文通訊作者

(2)

壹、前言大學入學考試中心(簡稱大考中心) 每年於 4~5 月間，均會進行研究用試卷測試(以下簡稱研究測試)。此項測試有多重的目的，首先，是大考中心所舉辦的兩項大學入學考試一學科能力測驗(簡稱學測)與指定科目考試(簡稱指考) ，其試題因保密的關條，從未透過預試(pre-test) , 而進入正式考試。因為沒有預試所提供的統計資料，試題的所有參數，皆是由人為預估而得。為使參與計畫的大學教授，對試題的難度有所認知，故有研究測試的進行。讓試題研發的教授，對自己所撰寫試題的難度與高中學生的反應有所了解 o 其次，則是對試題的型式與內容進行研究，就目前大學入學考試的指考化學考科而盲，就試題形式而言，則可分為概念理解(conceptual understanding) 、演算問

題解決 (algorithmic problem solving) 圖形問題解決(graphic problem solving)

與實驗問題解決 (experimental problem solving) 。本研究想了解學生在研究用試卷，其演算、概念、圖形與實驗試題的表現如何，作為測驗編製與高中教學的參考。此測驗是由五位大學化學系的四個不同領域的教授( 2 位無機、有機、物f七、分析各一位)與本文第一作者編製而成，測驗的內容主要參考 99 課綱的教材綱要與實驗內容(教育部，2008) ，但考量施測當時的高三學生仍是學習95 課綱，故仍有部分是屬於 95 課綱的內容(教育部，2004 )。測驗編製的重點有二:首先，了解成就測驗中，所包括的不同試題類型，並藉由統計分析的方法，確認這些不同試題類型的分類，是否與專家分類相似。此外，由於本測驗是屬於成就測驗的型式，並未採取過去研究常用的配對問題(pair-questions) 的方式，而是利用高中生學習內容而進行測試，並不能進行兩兩不同試題類型之間的比較，此為研究的限制。其次，則是嘗試設計測驗考生分析與應用能力的試題，包括有機化合物的官能基的命名與氧化遺原概念的應用，藉由此類綜合型式試題的反應，對考生較高階推理、分析與綜合能力表現的了解。本研究的目的有二: 一、了解高中化學成就測驗，有哪些不同類型的試題與學生表現的情況o 二、利用測驗考生分析與推理能力的題型，了解學生的較高階認知技能的表現。貳、文獻探討所謂成就( achievement) 是指經由學習後所得的成果(outcomes) ，學習成就測驗所評量的內容著重於知識和能力這兩個向度。若將此兩個向度進一步具體化，則知識的維度以課程內容作代表，而能力的緯度是以測驗目標表示，課程內容與測驗目標結合，組成測驗的雙向細目表 ( specification) 。成就測驗的編製，首要的原則即是設計測驗細目表，細目表中能夠具有代表性的試題，才符合評量學生學習成就的目標。若從測驗的觀點出發，通常測驗的問

(3)

科學教育月刊 2012 ， 6 月， 349 期. 2-19 頁題( question) 或任務( task) 是以概念 ( conceptual) 、演算( algorithmic) 或圖形( graphical) 的形式作表徵。過去的研究者嘗試以概念理解與演算問題解決的試題，來了解學生對此兩種形式試題的答題狀況。關於概念理解與演算問題解決，有學者利用詢問學生一組演算與概念問題的方式，一個問題需要概念理解，另一個則需要演算技能(Chiu, 2001 ; Costu, 2007 ;

Lin et aI., 1996 ; Mason et aI., 1997

Nakhleh, 1993 ; Niaz, 1995 ; Nurrebern &

Pickering, 1987 ; Pickering, 1990 ; Yilmaz

et 祉， 2007) ，以比較學生的表現。演算問題是指需要利用演算法則(algorithm) .包括:數學的計算與他學的計量等，對試題找到數字型式的答案。概念問題，是指對概念理解後，應用概念知識選擇合理的答案。過去的研究顯示，一般而言，學生對演算問題的表現優於概念問題，學生會進行數值的計算，但可能對於計算背後所隱含的概念知識的了解卻有限。然而，也有研究呈現不同的結果，例如:Chiu 的研究發現(2001)' 有些學生能夠解決演算問題，並對他學概念有正確的了解。回顧過去的文獻，研究者發現當初 Nurrenbern 和 Pickering( 1987) 對於概念問題的設計是採取圓形的方式，這種設計方式的意涵是指概念問題是以圖形方式作表徵 o Nakhleh 的設計則略有不同，所使用的概念理解試題有 3 題是屬於解釋繪圖 ( interpret drawings) ，有 2 題則是要求學生解釋文本 (interprettext) .採選擇題的

Science Education Monthly No. 349

,

p.2-19

,

June 2012

方式要求學生作答( Nakhl泊， 1993)。其後， Chiu 的研究設計也是採部分圖形，部分文字敘述的方式(Chiu,2001)。若從智力測驗的發展觀點而言，通常智力是以三種形式呈現，包括語、數、形。所謂語(文) 是包括:語文的字詞及語法、語文的推理; 數(學)則包括數學的演算與推理;形則是指對型態與空間的認知，包括空間關條和機械推理。以 Guilford ( 1967)的智力模式，是分成語意內容(semantic content) 和圖形的內容 (figural content) 。故不論由智力發展的角度或是試題設計的角度，語文和圖形應各自扮演不同的角色。舉例來說.Costu( 2007)為了評估學生於概念、圖形與演算能力的表現，設計了三種型式的試題，結果發現三個測驗的分數都達顯著性差異(p

<

0.05) ，而概念測驗表現較好。從這些研究的結果可說明，就測驗學生的觀點出發，應具有概念理解、計算與圓形理解等多面向的試題型式。除此之外，亦有學者提出所謂培養較高階認知技能(higher-order cognitive skills,HOCS)的課程與教學，高階認知技能包括:提出問題 (question asking) 、問

題解決(problem solving) 、決策(decision

making) 和批判思考 (critical thinki月) 等能力 (Zoller， 2002) 。之所以有此種思維，乃建構於學生能移更深入的了解概念，而非僅是學習將演算法則運用於問題。根據上述有關的文獻探討的內容，本研究嘗試將問題的本質以演算、圖形、概念的形式作分析(圖一)，嘗試將高中化學

(4)

成就測驗的試題類型分成三類，並藉由不同的統計分析的方法，來驗證不同類型試題的存在，以及其相互之間的關條。除此之外，本研究也嘗試設計測驗考生分析與應用能力的 Hoes 試題，即學生需將已知的原理應用於未知的情境能力。藉由不同類型的試題與高階認知技能試題的設計，來了解高中學生的表現，並作為成就測驗設計的參考依據。圓形 ;寅算概念參、研究方法與步跟一、研究工其本次研究的研究工具，是設計一份測試高中三年他學的成就測驗，並以高三學生樣本進行施測。成就測驗的型式與內容如表一所示，包括單選題 10 題，多選題 4 題，非選擇題一大題，測試時間為 40 分鐘。由表一來看，此份試卷所測試的學科內容，涵蓋了高一到高三不同單元，是屬於高中他學的成就測驗。成就測驗的特色是包含考生學習過的單元，通常其成績是反應考生學習所得的成果，部分試題的內容請參見附件一。圖一、問題或任務不同型式的要求表一、個別試題所代表的學科內容

為響

級 ν

…;心

酸鹼作口司一→ 概念 2 晶體結構高二圖形 3 Ksp 與他學計量作口司一一圖形 4 _分壓同口一- 演算 5 軌域能階 I口E司二三一概念 6 溶液導電度同口二一• 概今J巳A、 7 電 f七學同口一- 概念 8 有機 f七合物的反應同口一- 概今J巳A、 9 有機 f七合物的組成 I口司二二一• 概今J巳A、 10 有機 f七合物的組成局二概念 11 _{大氣、土壤} 局一概念 12 _{兀素週期性} I口司二二一 _概令_，巳A、 13 二相圖同口一- 圖形 14 緩衝溶液 I口E司二三一概念有機 f七合物的組成同口二二一概令，'"、氧{七數局一演算齒素同口一- 局階認知技能一 4 氧{七還原反應同口一- 自階認知技能 {七學反應 I口E司二三- 實驗

(5)

科學教育月刊 2012 . 6 月 ·349 期. 2-19 頁 Science Education Monthly No. 349,p.2-19,June 2012 二、研究步驟與對象全國共有 7 所高中參加測試，有效的考生樣本數為 1115 人，各校的性質與學生人數如表二所示。北、中、南都有學校參加，公、私立高中也都有代表性學校，各校 100 學年度的指考成績的平均成績大略可分為三種層級，表示此次抽樣的學校是涵蓋不同程度的考生。測試完後由大考中心進行讀卡與統計分析，非選擇題部分則是由五位測驗編製的大學教授進行評分。非選擇題考生的作答樣本，詳見第肆部分結果與討論的內容。表二、研究測試學校的性質與人數 100 學年度性質 _人數指考化學平均成績甲台北市公立問中 119 64.80

乙

公立局中台北市 210 67.62 丙台北市私立局中 87 48.32

丁

苗栗私立高中 201 47.27 戊 _公立局中台中 55 39.52 己彰 f七_公立局中 323 54.49 庚台南私立局中 120 49.90 三、資料分析 (一)答對華 (P 值)計算關於資料分析部分，將計算個別試題的答對率( P) 。答對率( P) 是指答對該題的人數百分比，數值愈高，表試題愈容易:數值愈低，表試題愈難。非選擇題部分，由五位大學教授進行評閱，本研究的主要目的是分析考生的作答類型，著重於考生答案的分析 O (二)主成分分析法 (principal component analysis,PCA) 組內討論時會提供想法;(2)會考慮其他人不同的想法;(3)常常提出問題，但不常主動思考;(4)面對不同意見時，不作辯護，會提出另一種想法。在文獻中，有兩個標準來決定因素保留的數目，一是根據Kaiser(1958) 的標準，保留初始特徵值大於1 的成份;另外，則是由 Catell & Vogelmann ( 1977 )所提出的陡坡 (scree) 測試，是利用初始特徵值的作圖法，當初始特徵值減少至一平滑線時，則可刪除不保留。將這些初始特徵值大於 1 的因素進行轉軸，轉軸的主要目的是協助因素更具有實質意涵的解釋模式，亦即達成簡他結構 (simple structure) 的目的。本研究採取正交轉軸 (orthogonal rotations) 的最大變異法(Varimax) ，是認為結果易於解釋，且認為因素之間沒有相關性存在。關於取樣的適切性，是以 KMO 測試法來檢驗 ( Kaiser-Meyer-Olkin Measurement

of Sampling Adequacy) •KMO 的數值

(6)

示變項的相關愈高，愈、適合進行因素分析;數值愈靠近 0' 表示變項的相關愈低，愈不適合進行因素分析。本研究的 KMO 值是 0.83 屬於良好。另外，利用 Bartlett 球形檢定來看變項間相關矩陣，若變項之間的相關條數愈高，則所得 χ2 值愈大，表示會、適合進行因素分析，本研究的 χ2 為 1115 ' 表適合進行因素分析。 (三)集群分析 (clusteranalysis) 集群分析的日的是將資料分成幾個相異性最大的群組，而群組內的相似程度最高。利用集群分析將觀察值進行群組分類時，觀察值所屬群組特性還未知。此外，在集群分析前，研究者尚不知道獨立觀察值可分為多少群組(集群) ，故集群數未知，集群的特性也無從得知，集群分析採用的「數值分類法 J ( numerical taxonomy)'是將計量空間的樣本點加以分在且，分組後使在同一群組內的樣本有高度的相似性(similarity) 與較高的同質性(homogeneity) ，不同群組間的樣本點則有高度的異質性 (heterogeneity) 。肆、結果與討論一、敘述統計此次參與研究測試的高中共有 7 所，台北市有 3 所、苗栗 l 戶丹、彰 1c 1 戶丹、台南 l 所，遍及北、中、南三個區域。從高中的性質來看，公立高中有 4 戶丹、私立高中有 3 所。學生有效的樣本數是 1115 人。考生在總分 56 分中，最高分是 54 .4分、最低分是 O 分;考生的平均分數是 27.11 分，相當於百分制的 48 .4 2 分。二、個別試題的答對率或得分率整份試卷包括 14 題選擇題與非選擇題一大題， 14 題選擇題中有 10 題單選題、 4 題多選題;非選擇題一大題則是包括 5 個小題。個別試題的答對率或得分率如表三所示。表三、個別試題答對率或得分率的情況題號試題型式答對事或得分事(%) 概今d巳A、 50 2 圖形 ₄₄ 3 圖形 ₆₈ 4 演算 55 5 概念 66 6 概念 52 7 概念 17 8 概念 52 9 概念 32 10 概念 50 11 概念 73 12 概念 37 13 圖形 85 14 概念 19 概念 46 演算 ₈₆ 高階認知技能 44 (實驗) ~4 高階認知技能 ₂₀ (實驗) 實驗技能 43

(7)

科學教育月刊 2012 ' 6 月， 349 期， 2-19 頁 19 題中偏難題 (P<30% )有 3 題，中偏難 (30% 三三 P<50% )有 6 題、中偏易(50% 三三 P<70% )有7 題、易 (P 全 70%) 有 3題。整體而言，難題與簡單試題皆有，中間難度的試題占大部分。各種難度皆有的試題型態設計，可以評量不同成就的學生，故對學生的程度能有所區分。三、學生對不同類型試題的表現與統計分析的結果 (一)學生對不同類型試題的表現為了解學生在不同類型試題的表現，研究者將試題區分為幾大類，分別是概念、計算、圓形與實驗(表一) ，由於本次的測驗未針對各類型的試題作配對設計，故僅作一般性的比較。從表三的結果中可知 19 題中，概念題有 11 題、演算題有 2 題、圓形題有 3 題、實驗題有 3 題，試題內容與答案請參見附件一，並將相關試題的答對率標於題末。各題型答對率的平均分別是概念 44.9% 、演算 70.5% 、圖形 65.7% 與實驗 35.6% 。從這次的成就測驗中，可以發現學生在演算的題型表現最好，其次是圖形題型，再其次是概念題型，表現最差者為實驗題型。這樣的結果與過去研究者採配對試題方式，進行研究的成果有些類似 (Chiu ， 2001; Mason et a

t.,

1997; Nakhleh. 1993; Niaz. 1995; Nurrenbern

& Pickering 1987; Pickering 1990) 。即學生在演算試題的表現，是優於概

Science Education Monthly No. 349,p.2-19,June 2012

念題。惟此次的測驗未採配對方式設計，加上某些類型的試題量相當有限，故在結果推論上，有其限制。表四、學生在不同類型試題的表現試題類型題數 _{得分軍平均} 演算 ₂ _70.5 圖形 ₃ _65.7 概念 II 44.9 實驗 3 35.6 合計 ₁₉ ₄₈_.4 (二)統計分析的結果 1.主成分分析結果利用主成分分析法( principal componentanalysis) 分析此次研究用試卷選擇題的試題類型。結果發現，其初始特徵值(eigenvalue) 大於1.0 的成分共有三個，成分l 解釋變異的量最高為 20.帥，成分 2 與成分 3 分別是 7.89 與 7 .42 '三個成份可解釋的累積變異數為 35.39 。試題原先的設計是以概念、圓形、演算與實驗為主軸(表一) ，但因演算的試題僅有第4 題，故就主成分分析而言，無法產生顯著的作用。另外，實驗僅在非選擇題，並未進行主成分分析。三個主成分對試題而盲，因素 l 對 2 ， 4,5,6, 11 題都有貢獻，因素 2 對第 7 ， 12 ， 14 與 1 ， 8 ， 9 ， 10 等題，因素 3 是針對第 3 ， 13 題貢獻較大。仔細審視這些試題的內

(8)

容與型式，發現因素 l 應是概念理解; 因素 3 應是與圖形理解，第 3 ， 13 題都是屬於圖形試題的設計;因素 2 則可能包含高階認知技能( HOeS) 與概念理解(Zoller et 此， 2002) 。本次測驗第 7 ， 14 兩題的答對率最低的兩題，第 12 題的答對率亦不高，就考生的答對率而言，成分2 應屬於高階認知技能。但因素2 對 1 ， 8 ， 9 ， 10 也有不小的因素負荷量，故無法明確說明因素 2 的特質。表五、主成分分析的結果(樣本數=1115) 因素 l 因素 2 因素 3 初始 2.81 1.10 1.04 特徵值解釋變異 20.08 7.89 7.42 量(%) 累積變異 20.08 27.97 35.39 量(%) 因素負荷量* 題號因素 l 因素 2 因素 3 11 0.70 -0.16 -0.05 5 0.50 0.24 0.17 2 0.49 0.19 0.07 4 0.37 0.29 0.14 6 0.36 0.23 0.32 7 -0.26 0.50 0.37 12 0.06 0.48 0.13 14 0.01 0.47 -0.25 8 0.22 0.47 0.11 10 0.17 0.46 0.07 9 0.39 0.46 -0.17 0.38 0.44 0.15 3 0.08 0.02 0.80 13 0.41 0.01 0.46 *以最大變異{t:; (Varimax) 進行常態{t:; ;因素負荷最大者以粗體表示 2. 集群分析( hierarchical cluster analysis) 結果本研究所採用的是階層集群的華德法分析，嘗試看看不同類型的試題，是否有群集的特性。華德法是指最小變異數和的方法，即同一群內觀察值的變異數和應該較小，不同群之間觀察值的變異數和應該較大，觀察值之間的距離採用歐幾里德距離平方。分析所得的樹狀圖結果，如圖二所示。第 7 ， 12 ， 14 為一集群，第 3 ， 5 ， 13 為一集群，第 1 ， 2 ， 4 ， 6 為一集群，第 8 ， 9 ， 10 ， 11 為一集群。若以距離來看，第 7 ， 12, 14 三題與其他試題相距最遷，其次是第 3 ， 5, 13 題，其他剩下的試題則可分成同一類。比較此項結果與主成分分析法的結果發現，第 7, 12, 14 題可能是屬於較高階認知層次的試題，而第 3 ， 13 題是屬於圖形理解試題，其他的試題則與概念理解有關。由這兩種分析的結果與專家的主觀判斷，可以說明此次成就測驗的試題類型，可能包括概念理解、圖形理解與較高階認知技能的試題。比較專家判斷題型、主成分分析法與階層集群分析，研究者發現第 7 ， 12, 14 三題，專家判斷法是屬於概念理解題，與其他概念理解題並無分別。但集群分析法發現，此三題與其他概念試題有所區隔，再對照考生的答對率的情況(表三) ，此三題的平均答對率僅 24%' 比其他試題低許多，推測這三題可能屬於較高階認知技能的試

(9)

科學教育月刊 2012 •6 月. 349 期. 2-19 頁 Science Education Monthly No. 349,p.2- 凹，June 2012 CASE Lable Num nI2 12 n14 14 n7 7 n3 3 nI3 13 n5 5 nI n2 2 n4 4 n6 6 n8 8 n9 9 nl0 10υ nl且自咀且圓 ₁₁

o

5 10 15 20 25 ←

---~---~---~---f---t----了

一圖二、階層集群分析的樹狀圖題。另外，是圓形理解題的部分，本次專家設計是第 2 ， 3, 13 三題，但主成分分析的結果是因素 3 對第 3 與 13 題有最大的因素負責荷，集群分析顯示第 3 ， 5, 13 三題最為接近，這項結果的原則可能如下，第一點是第 2 題所提供的圖形，對解題上沒有幫助，故有無圓形對考生而言，影響不大。相反地，第 3 與 13 題，圖形是解題的必要條件之一，若無圓形，考生無法進行解題。第二點是第 5 題與其他兩題圓形題，在集群分析時十分近似，可能是第 5 題在解題的潛在的變工頁，需要具備圓形理解的相關能力。第三點是圖形理解的試題與概念理解的試題，兩者應具有不同的特質，故以統計方法檢測時，這兩種類型的試題呈現不同的分佈狀況。總之，這種看似十分簡單直接的試題類型分類，卻需要更多的研究資料，提供不同試題類型與其之間關{擎的佐證。四、學生推理思考能力的分析除了選擇題外，本次的研究測試設計了一大題非選擇題共5 小題，試題請參見附件一。本試題是屬於綜合性的試題，測試的概念包括:有機他合物的官能基、氧他數、氧{七還原反應與實驗儀器的名稱與使用方式。設計的重點在於考生若碰到不熟悉的物質時，能否會應用所習得的化學知識，進行推理、分析、判斷等學習遷移。 (一)考生答題情況

(10)

基經』' 『 •.. ， ' ， ' ，」一 H LOL F'

,.'

...

L 『 ••

','

..

﹒」

.

OC

.

「 EE.E.--L 4

,

基殺非選擇題之中，以各小題作統計，第 2 小題計算氧他數最簡單，得分率 R 圖三、學生對官能基名稱產生迷思概念的可能原因約為 86% '可見此種應用演算法於熟悉情境中，是屬於簡易試題，就過去認知層次研究的分類，是屬於較低階

申戶

的認知層次 (LaCS) 試題( Zoller et 祉， 2002 )。通常這類的試題，考生會有較高的答對率(表三)。

2

盼的 "1"~4

tS

kBr

Ol

+1 X-:1 χ 't1+3(-1.).0 妒，字 {勾此外，第 1 ， 3,5 小題的得分率差別不大(表三) ，第 1 小題考生需對有機化合物官能基有所認識，第 5 小題是儀器裝置的認識，這兩題應該是

仙也 EEgiOH T 吵此吟

之如龜物赤軍也 &r 哼品 l+軍 E 學 ff4&r .. 屬於較低階認知層次的試題。至於第 3, 4 小題因需要利用推理、分析與綜合能力，故比較屬於較高階的認知層 O 次 (HOCS)試題(Zoller et此， 2002 )。考生第 1 ， 5 小題得分率不高，可能的原因有二:一是教學上沒有特別強調

O

最實驗儀器裝置的名稱;二是考生對有圖四、考生甲作答狀況機他合物官能基的命名有述思概念 (misconception) 產生。分析三個標本考生的答題狀況，圖六是考生甲作答情況。考生甲觀察第 3 小的反應式有問r0

₃

'而且出產 (二)考生的觀念分析非選擇題的概念分析，可藉由考物未寫出 Br' 加上題幹敘述有紅棕色生的作答情況，來推估其思考的歷程。第 1 小題的答案是矮酸基與齒基為正確答案，但考生寫出各種官能基，有的氣體產生，故利用己學過的氧他還原概念，可以推得闊的3 產生還原作用而生成紅棕色的 Br₂ 。這種藉由己經基、酸基、醒基、醇基、間基、觀知的知識推到未知的情境中，是較高階認知技能的表現(圖四)。但是，也有考生無法由 KBr0

₃

推出紅棕色的 B巳氣體，而從既存的知基，合理的解釋是考生把 R-COOH 視為兩種官能基，即是 1童基和 1炭基(圖三)。考生作答寫經基的人數最多，古 17% '寫其他官能基的人數在 10% 以下。

(11)

科學教育月刊 20 日， 6 月， 349 期， 2-19 頁 Science Education Monthly No. 349,p.2-19,June 2012 識中進行提取符合紅棕色的答案。考生乙(圖五)寫的 CuO ，因高中課本曾提過氧化亞銅 Cup 是紅棕色。除了氧忙亞銅之外，高中階段學到紅棕色的氣體最常見的是 N0₂ '寫 N0₂的考生有 163 位，古全體的 17 %'考生丙即是寫 N0₂ (圖六)。

υ)ρf九c

ti

1~

t

2

\后戶、、 "v" 1.."$要聖 (:» 1'8·°3、

~~x f!，f1' 魯特 'i

(+-I)-It ?已 "I T 令之 j 足 3 =0

2

J( =穹恥制和1， 1喘亨 (再 j ω 學司匕矗掛

O

l-+ ) ζ ‘Az+

O

(弓)丹、恥

、-入 o 11衍b 已

圖五、考生乙作答狀況 rlJ i吾同 O 吾吾吾

Z

nv

已

注 1

叫Jh

puw

魚

〈 /Nl/ 芳

叫川怕引

O 圖六、考生丙作答狀況伍、結論興建議本研究藉由成就測驗的編製，來探索成就測驗的題型與學生表現的情況。對於研究問題一、高中化學成就測驗中，試題題型的分類，藉由學科專家對試題主觀分類，以及主成分分析、集群分析得到的結果，發現此成就測驗的試題類型，大略可以分成三種，分別是概念理解、圓形理解與較高階認知層次試題。再加上本次非選擇題所設計的演算題與實驗題，則成就測驗編製所包括的題型，應包括上述五大類。若是將圖形、演算、實驗與文本作為概念表徵的形式;而較高階與較低階認知層次，作為解題所需的認知技能。理想上，成就測驗的試題應包括圖形、文本、演算與實驗，就認知而盲，除了較低階認知層次試題外，亦應包括較高階認知層次的試題(圖 t) 。這樣除了能夠測驗考生對於不同方式表徵概念的熟悉度外，亦能評量考生不同層次的認知技能。本形算驗文圖演實概念表徵的形式試題包含解題所需的的概念認知技能圖七、試題概念的表徵與認知技能的關條

(12)

關於利用測驗考生分析綜合能力的非選擇題，探討考生較高階認知技能的表現，研究者發現:考生對於有機物的官能基認識不足時，會將一個官能基拆成兩個官能基來看待，例如:會將矮酸拆成控基與 1炭基。此外，考生面對要將所學應用於未知的情境時，若無法以推理分析找出答案時，則會嘗試由記憶中蒐尋符合條件的答案，例如:非選擇題的第 3 小題，題幹說明有紅棕色的氣體產生，有考生寫 N0

₂

為答案，表示這些學生無法將氧允還原的概念應用於未知情境，只能由記憶中找出符合題幹敘述的答案 o 長久以來，較高階認知技能的課程與測驗，是研究者所關注的課題。 Zoller 與 Pushkin 的研究 (200 7) ，認為較高階認知技能是情境知識( situational knowledge) 與策略知識(strategicknowledge)的結合。情境知識是指認識問題的情境，就非選擇題第 3 小題而盲，哪一個t 合物可能會產生顏色，是此問題的情境知識;策略知識是指選擇正確的演算法，是計算哪一個他合物的氧他數會產生變f 仁，而推測產物的形成。此小題需結合情境知識與策略知識才可作答，故屬於測驗較高階認知技能的試題。此題的得分率不高，代表學生在較高階認知技能的訓練上，還有待努力。這也是教學與入學考試中，值得重視的方向。致謝 1.本研究計畫係由教育部補助「大學入學考試中心題庫發展研究計畫」經費支助，謹此致謝。 2. 本文的研究用試卷，是由五位大學教授與本文第一作者共同研發而成。五位教授分別是:王文竹、吉凱明、何國榮、林金全、葉名倉，謹此致謝。參考文獻教育部(2008)。普通高級中學課程綱要。台北市:教育部。教育部(2005)。普通高級中學課程暫行

Catell, R. B. & Vogelmann, S. (1977). A

comprehensive trial of the scree and

kg criteria for determining the

number of factors. Multivariate

Behavioral Research. 12 (3),

289-325.

Chiu, M. H. (2001). Algorithmic problem

solving and conceptual

understanding of chemistry by

students at a local high school in

Taiwan. Proc. Natl. Sci. Counc.

ROC (D) II (1), 20-38.

Costu, 8. (2007). Comparison of students'

performance on algorithm此，

conceptual and graphical chemistry gas problems. Journal of Science

Education and Technology, 16 (5),

379-386.

Guilford, J. P. (1967). The nature ofhuman

intelligence. New York:

McGraw-Hill.

Kaiser, H. F. (1958). The Varimax criterion

for analytic rotation in factor

analysis. Psychometrica, 23,

187-200.

Lin, Q., Kirsch, P., & Turner, R. (1996).

Numeric and conceptual

understanding of general chemistry at a minority institution. Journal of

Chemical Education, 73, 1003-1005.

Mason, S. D., Shell, D. F., & Crawley, F.

(13)

科學教育月刊 2012 ' 6 月， 349 期， 2-19 頁 Science Education Monthly No. 349

,

p.2-19

,

June 2012

Education Research and Practice,

8 (2), 153 一 17 1.

投稿日期: 100 年 II 月 29 日接受日期: 100 年 12 月 30 日

Matching higher-order cogni t i ve

skills (HOeS) promotion goals

with problem-based laboratory

practice in a freshman organic

Research and Practice, 6 (2), 104-118.

Yilmaz, A., Tuncer, G. & Alp, E. (2007).

An old subject with recent evidence from Turkey: students' performance

on algorithmic and conceptual

questions of chemistry. World

Applied Sciences Journal, 2 (4), 420-426.

Zol1er,U. , Dori,Y., & Lubezky,A. (2002). Algorithm此， LOCS and HOCS

(chemistry) exam question:

performance and attitudes of col1ege

students. International Journal of

Science Education,24 (2), 185-203.

Zoller, U. & Pushkin, D. (2007).

Chemistry

chemistry course.

solving by non-science majors in

introductory chemistry on paired

algorithmic-conceptual problems.

Journal of Research in Science Teaching,34 (9), 905-923.

Nakhleh, M. B. (1993). Are our students

conceptual thinkers or algorithmic

problem solvers? Journal of

Chemical Education,70 (1), 52-55.

N iaz, M. (1995). Relationship between

student performance on conceptual

and computational problems of

chemical equilibrium. International

Journal of Science Education, 17 (3),

343-355.

Nurrenbem, S. & Pickering, M. (1987).

Concept learning versus problem

solving. Is there a difference?

Journal of Chemical Education, 64

(6),508-510.

Pickeri嗯， M. (1990). Further studies on

concept learning versus problem

solving. Journal of Chemical

Education,67 (3),254-255.

Stamovlasis, D., Tsaparlis, G., Kamilatos,

C., Papaoikonomou, D. &

Zarotiadou, E. (2005). Conceptual

understanding versus algorithmic

problem solving : Further evidence

from a national chemistry

examination. Chemistry Education

耐件大學入學考試中心指定科目考試研究用試卷一、單選題 1.下列何者不能做為布一洛( Bmnsted-Lowry) 酸? (P=50%) 2. 下圖為氯他納晶體的構造，下列敘述何者正確? (P=44%) .c r 、F 正f斗> J U

CI

Na+'

(A) NH/ (B) H20 (C) HS0₃ (D) H₂P0₂ -(E) CH₃COOH

(14)

(A) 氯 f七納的分子式為 NaCl (B) 就每個Cl-而言，離它最近的 Na+ 共有 4 個 (C) 假設 Na+ 和 Cl 的離子半徑分別為 rNa' 和 r

_C

\- '則 Na+ 與 cr 的最近距離為 2(r

_Na

， +r_CI-) (D) Cl-與Cl-的最近距離為

J2互(rNa'

、呼4

(E昀)氯it七訥晶體中，相異電荷離子間的靜電引力等於相同電荷離子間的靜電斥力，所以十分穗定 3. 將 H

₂

S0

₄

溶液加入Ba (OH)2 溶液會產生沉澱，下列哪一個曲線圖能正確的呈現沉澱量與加入硫酸量之間的關條? (P=68% )

Y~

_H₂_S0₄_量

Yh

_H 2S0₄量

九扒

H₂S0₄量

Y

I~

H₂S0₄量

(E)

4. 已知一含氧氣、氮氧與氫氣各 5 克的混合氣體，其總壓力為1. 5 大氣壓，試計算氮氧的分壓為多少大氣壓? (P=55%) (A) 0.064 (B) 0.083 (c) 0.095 (D) 1.32 (E) 1.44 5. 有一多電子原子，將其不同軌域的能階，分三組成對作比較如下: (甲 )3d 與 “、(乙 )4s 與 4p 、(丙 )4p 與仇。下列各組中，關於軌域能階較高者，哪一個正確? (P=66%) (A) 甲為 3d '乙為仇，丙為 4p (B) 甲為 3d '乙為仇，丙為 5s (C) 甲為 4s '乙為旬，丙為 5s (D) 甲為 3d '乙為旬，丙為 5s (E) 甲為恥，乙為旬，丙為4p 6. 下列五千重溶液: O.IM H₂A Ka_l=1.0 x 10-3 _, _Ka 2 =1.0 x 10-7_)、1.0 X10-4

M HCl 、 O.OIM HB (Ka= 1.0x lO-5) ，、 O.IM H₂A+0.IMNaHA、飽和 Ag₃P0₄

( Ksp=1.8X10-18 )。試問哪一溶液的導

電度最小? (P=52%)

(A) O.IM H2A

(B) 1.0xlO-4_{M HCl}

(C) O.IM H2A + O.IM NaHA

(15)

科學教育月刊 2012

'

6 月， 349 期， 2-19 頁 (E) 飽和 Ag₃P0₄溶液 7. 下列有關電他學的敘述，哪一項不正確

? (P=17%)

(A) ;，農食鹽水電解，因Cl-標準氧化電位小於水，故可產生氯氣 (B) 電解電鍍反應之逆反應為自發反應 (C) 製備電化學電池，

Science Education Monthly No.

349

,

p.2-19

,June

2012

可被氧他劑氧他為酸的共有幾種? (

P=50% )

(A) 1 (B) 2 (C) 3 (D) 4 (E) 5

Cd(S)

+

2AgCl(S)

~ Cd~~)+

2 Ag(S)

+

2

Cl;aq) ，不需使用鹽橋 (D) 鉛蓄電池放電的電位隨硫酸濃度下降而逐漸下降 (E) 燃料電池的反應為一白發反應 8. 下列有關斐林試劑製備與反應的敘述，何者正確?

(P=52%)

(A) 硫酸銅溶液呈紅色 (B) 酒石酸主甲車內溶液應配置成pH 值為 3.0 的溶液 (C) 葡萄糖與斐林試劑反應生成氧化亞銅沈j廳 (D) 果糖與斐林試劑反應生成黑色沈澱 (E) 丙間可與斐林試劑迅速反應生成丙酸 9. 下列哪一個聚合物以加成聚合的方式合成得到?

(P=32%)

(A) 達克倫 (B) 天然橡膠 (C) 蛋白質 (D) 耐綸 (E) 纖維素 10. 分子式為 C

₄

H

_IO

O 的所有醇類異構物中，二、多選題 1 1.下列有關化學對環境影響的敘述，哪些正確?

(P=93%)

(A) 酸雨的生成主要來自空氣中的

CO

2 (B) 溫室效應主要與 CO₂濃度大量增加有關 (C) 氣氯院是破壞大氣中臭氧層的元兇之一 (D) 熱汙染會使水中溶氧量降低，造成魚蝦苑亡 (E) 士壤中的三氧化碳和水反應，造成鹼性士壤，不利於植物生長 12 下列有關於週期表的敘述，哪些正確?

(P=37% )

(A) 同一週期的氧化物水溶液的酸 J性，由左至右逐漸增加 (B) 類金屬的化學性質介於金屬與非金屬之間，又稱為過渡金屬 (C) 週期表 A 族的元素，其價電子數與所屬的族數相同 (D) 齒族元素的電負度由上而下漸增 (E) 同一週期元素失去電子的傾向，隨原子序的增加而降低

(16)

13. 水的相變恍如圖一所示，下列敘述哪些正確? (P=85%) 壓力 1a 氣 m 0.01 100 過股 (0 C) 固一 (A) 甲點為三相點，在此壓力與溫度的條件下，水的三態共存 (B) 乙點表示水的氣態與液態共存 (C) 在乙點時，若壓力維持 l 大氣壓，但增加溫度，水將變為液態 (D) 將;水維持在 3 毫米汞柱壓力下，但增加溫度，則冰會昇華 (E) 當固態與液態共存時，增加壓力，水的溫度隨之增加 14 某多質子酸 H

₃

A 之 Ka

_，

=7.5X\0-3 、 Ka 2= 6.2X\0-8 、 Ka

3

=4.8x\O-13 。下列哪幾種溶液，可用以配置成 pH=7 的緩衝溶液? (P=19%) (A) H₃A 溶液與 NaH₂A 溶液 (B) NaH₂A 溶液與 Na₂HA 溶液 (C) NaH₂A 溶液及 HCI 溶液 (D) Na₂HA 溶液及 NaOH 溶液 (E) H₃A 溶液及 NaOH 溶液三、非選擇題 l 於某質驗室中，欲以下述L 反應製備他合物丙。首先，將化合物甲與他合物乙溶於硫酸後，並劇烈攪拌。然後，將反應瓶加熱至 65°C' 反應過程中會有一紅棕色氣體，不斷自儀器戊頂端冒出。為實驗的安全，會將該氣體導人錐形瓶中，與瓶中的飽和硫代硫酸納溶液作用。待反應完成後，將雙頸瓶中的內容物經處理得固體丙'反應式與實驗裝置如圖一與固三所示。 O _O d 7 O H _KBr0 3 H₂S0₄

d\y

+

-/、。

OH 甲

_乙

丙國二

(17)

科學教育月刊 2012 ' 6 月， 349 期， 2-19 頁 Science Education Month1yNo. 349,p.2-19,June 2012 庚己每一戊飽和 Na2S203 水溶液圖三試根據上述實驗，回答下列問題: (1)寫出 t 合物甲的萃環上兩種官能基名稱? (2 分) (P=46%) (2) 忙合物乙(KBrO) )中 Br 的氧 t 數為何? (2 分) (P=86%) (3) 反應產生的紅棕色氣體為何?(2 分) (P=44%) (4) 在錐形瓶中，紅棕色氣體反應後所得的生成物為何?( 2 分)(P=20%) (5) 儀器戊的名稱為何?儀器戊中冷水的人口喘為何處? (2 分) (P=43% ) 100 研究用試卷化學考料選擇題參考答案題號答案 D 2 D 3 D 4 C 5 D 6 E 7 A 8 C 9 B 10 B 11 BCD 12 ACE 13 ABD 14 BE

(18)

The Item Patterns and Students' Response in

High-School Achievement Test of Chemistry

Kuo-liang Wu

1,2

and Mei-Hung Chiu

2*

I College Entrance Examination Center

2Graduate Institute ofScience Education,National Taiwan Normal University

Abstract

This study investigated the item patterns and students' responses to achievement test items in chemistry that were constructed by a group of chemistry professors under the guidelines of 20 10 curriculum outline.

This study was funded by College Entrance Examination Center (CEEC) to understand the students'

performance of achievement test for entering universities. The items of this test have been divided by those

professors into different patterns,including conceptual understanding,algorithmic problem solving,graphic

understanding and higher-order cognitive skills (HOCS). This test was administrated to 1115 12th grade

students in 7 senior high schools. According to two types of statistics analyses,principal component analysis

and cluster analysis, the researchers have found that there were at least three types of items, namely

conceptual understanding, graphic understanding, and high-order cognitive skills. Besides that, the

researchers have also found the alternative conceptions of nomenclature of functional group in organic

compounds. Furthermore,some students used recalling strategy to answer those questions that need analysis

and application of oxidation-reduction theory into unfamiliar situations. In sum,this study highlights the

functions and importance of different item patterns in high-school achievement test in chemistry. More

importantly,this study suggests that the use of graphic representations to investigate students' competence in

reading and interpreting relations among different variables and to cultivate students' high-order thinking

competence should receive enough attention from policy makers,school teachers,and assessment designers.

We hope the results of this study could provide valuable reference for instruction and assessment in high

school chemistry,and use them as reference for item designs for large scale entrance examination.

Keyword: achievement test, conceptual understanding, graphic understanding, higher-order