研究工具

本研究之主要研究目的為探討學生的數學素養能力，因此以數學素養試 題為主要的測量工具，藉由學生在數學素養試題答題的表現來檢視學生的數學素 養，並輔以學生的背景問卷調查學生的背景條件，和學生的答題表現進行差異情

形的討論。本節研究工具分為兩個部分，分別為第一部分的數學素養試題以及第 二部分的學生背景問卷。

一、數學素養試題

（一）試題來源

本研究所參考使用的試題為臺灣師範大學林福來教授於民國 100 年 2 月~100 年6 月規劃的六區數學素養試題研發工作坊中，各縣市教師在參與教授的帶領下 所完成的試題設計。由於試題皆依照PISA 設計試題的依據設計，並依照情境脈 絡及數學內容知識分類，符合研究者所欲探究學生數學素養的試題需求，故研究 者以此為依據，從中選定欲施測的題目。

（二）試題組成及施測方式 1.施測方式、施測時間及試題題數

PISA 2012 數學試題使用四種題型：選擇題、多重是非題、封閉式問答題以 及開放式問答題，並分紙筆式評量及電腦化評量兩個部分。紙筆式評量內容包含 數學、科學和閱讀試題，施測時間為2 小時；且 PISA2012 電腦化評量包含數學、

閱讀、問題解決三種試題，測驗時間為40 分鐘，並在 2015 年採用全面電腦化評 量。由於研究者資源有限，在施測方式上選擇紙筆式評量，並參考台灣PISA 國 家研究中心於民國100 年 4 月至 6 月所作 PISA 樣本試題的施測方式，考量國中 每節課授課時間45 分鐘，不易進行 2 小時的施測，研究者決定施測時間為 45 分鐘，並依據研究者任教的經驗，學生要在45 分鐘完成一份試卷，題數在 20~25 題是比較可能作完的，相當於一題數學問題的作答時間約兩分鐘，由於PISA 的 試題設計每題通常都有3~4 個小題，故研究者所欲使用的數學素養試題最初設計 為總共 21 個問題，分為 6 大題，每題 3~4 個小題，試題完成後先進行前導測驗 已檢測是否有足夠的時間作答，前導測驗過後和同校老師討論，經過試題審查後 減為19 個問題。

2.選題原則

（1）數學內容知識部分

PISA 數學試題出題的情境脈絡包括個人、社會、職業及科學四類，每類皆 含有改變與關係、空間與圖形、數量、不確定性四種數學內容知識，數學素養試 題研發工作坊中各縣市教師已將問題依照情境及包含之數學內容知識分類，，由 於研究者所欲施測的問題題數不多，且數學素養試題研發工作坊中各縣市教師在 設計題目上以數量相關的題目及最多，為了避免所欲測驗的數學內容知識太過集 中，研究者在挑選題目時選擇四個情境中盡量把題目包含的數學內容知識出現的 次數平均分配。

（2）未考的觀念

由於研究者所設定的施測時間為102 學年度上學期第一次月考後，若數學 素養試題所包含的內容知識涉及有關圓、二次函數、資料整理等觀念，對於九年 級的學生而言尚未學到完整的概念，因此在數學素養試題研發工作坊中各縣市教 師所設計的試題，若包含上述的內容，在選題上不予考慮。

（3）題數分配

國中數學教材的編排上共有「數與量」、「代數」、「幾何」、「機率與統計」四 個部分，因此在試題的情境脈絡的選擇上，研究者每個情境至少選擇1 題，和同 校老師討論後，試題較缺乏平面幾何及數列的觀念，故再從個人情境及社會情境 中各多挑選1 題包含平面幾何及數列的題目，因此題目的選擇上共有個人情境 2 題，職業情境1 題，社會情境 2 題，科學情境 1 題，共 6 大題，最後所選出的試 題為「個人情境」的「涼亭」問題及「回收寶特瓶」、「職業情境」的「常用的紙」

問題、「社會情境」「堆垛」問題及「交通安全」問題、「科學情境」的「日本311 大地震」問題。

3.編碼規則及所選試題

學生接受數學素養試題的測驗後，為了方便輸入統計軟體，有關試題以及 學生的問卷資料的編碼將依照下列規則編碼：

（1）試題編碼：

a.情境：題目若屬個人情境編為 P、社會情境編為 SO、職業情境編為 O，科學情 境編為SC。

b.內容：數學內容知識若屬改變與關係編為 R、空間與圖形編為 S、數量編為 Q、

不確定性編為U。

c.題號：依照流水號 1、2、3、…….依序編號。各題的小題則在題號後以“-”表示，

例如第一題第一小題以「1-1」表示；第二題第二小題以「2-2 表示」，

以此類推。

（2）所選試題及編碼

本研究所挑定之題目依照各種情境至少一題、包含的內容盡量涵蓋國中教材 內容且數學內容知識不超過2 個、以及每個題目至少有 2 個問題（含開放式的問 題）的標準下選出6 題（如附錄一所示），安排的順序採隨機分配，如表 3-4-1 所示：

表3-4-1 各數學素養試題之情境脈絡及數學內容知識

題號 編碼 題目 情境 數學內容知識 小題數 1 P-S-1 涼亭 個人 空間與圖形 4

2 SC-RQU-2 日本 311 大地震 科學 改變與關係、數量、

不確定性 3

3 O-R-3 常用的紙 職業 空間與圖形、數量 3 4 P-R-4 回收寶特瓶 個人 改變與關係 4 5 SO-SQ-5 堆垛 社會 空間與圖形、數量 3 6 SO-R-6 交通安全 社會 改變與關係 2 4.試題雙向細目表及所對應之能力指標

PISA2012 對於數學素養的定義為個體在不同情境脈絡中，形成、應用以及 詮釋數學的能力，其包含數學推理、和數學概念、程序、事實以及工具的運用來 描述、解釋和預測數學現象。研究者以此為依據檢視所選試題中符合形成、應用、

詮釋的題數，編寫本研究所選試題的雙向細目表，如表3-4-2 所示：

大地震 的指數律。

師討論後將原作者題目修改，詳見附錄四。

（三）預試試題及正式試題的信效度 1.預試試題

（1）試題信度：

本研究於預試結束後，藉由受試者對數學素養試題的反應，來分析試題是否 有一致性。由於本測驗採取rasch模式中的部分給分模式（Partial Credit Model），

研究者將預試對象64名學生的各題得分輸入Winsteps軟體，計算出此題本各項試 題的信度（item reliablilty）為0.94，如圖3-6所示。其中受試者信度 (person reliability) 為0.83，相當於傳統測驗的內部一致性信度Cronbach’s alpha值，根據 Nunnally（1967）的建議，測驗的Cronbach α係數若大於或等於0.7，屬於很可信 的範圍，因此本份試題的信度達到可接受的水準。

圖3-4-1 預試試題信度分析

（2）預試試題難度及題項分析

研究者利用 Winsteps 軟體配來進行試題的難度及題項分析，藉以檢驗數學 素養試題的難度以及題項是否符合IRT 模式的基本假設，分析結果如圖 3-4-2 所 示：

圖3-4-2 預試難度及題項分析

圖 3-4-2 中的 MEASURE 值係指各試題的閾值（threshold parameter），代表 各小題的難度，<0 代表題目對受試者而言較簡單，>0 代表題目對受試者而言較 困難。且數值愈大表示表示學生答對此題的機率愈低。本試題的閾值範圍為-1.7 2~2.13。

而 Winsteps 軟體提供兩類適配指標可供參考使用，分別是訊息加權統計量

（INFIT）及極端值加權統計量（OUTFIT），每類指標皆計算MNSQ 及 ZSTD 兩 種數值，MNSQ 係指所有受試者在該題項上的實際觀察值與模式期望值之間差 異的標準化殘差均方和，即標準化殘差變異的平均值，以1.0 為標準，大於 1.0 即表示資料填答情形超出模式的預期，小於1.0 即表示優於模式的預期；而 ZST D 則是將 MNSQ 進行 Wilson-Hilferty 轉換後，以方便對照常態 Z 分佈機率表來 判定MNSQ 是否達顯著水準（Bond & Fox，2001），不論樣本數多寡，若 ZST D 值在-2 或+2 之外的範圍，便被視為不適合的（Smith，1992）。由於 INFIT 有 以標準差為權重調整校估參數時之變異數，OUTFIT 未加權易受到極端值(outlyi ng scores)影響，故本研究以 INFIT 作為效度指標。

根據Linacre（2006）的看法，MNSQ在0.6～1.4之間是合理的，代表受試者在題 項上的反應符合模式預期的範圍。由圖3-4-2可知本研究數學素養試題大多落在

此範圍中，而問題1-1的INFIT中的MNSQ值為1.81雖然高於1.4，不過Linacre對 MNSQ合理範圍的建議為：MNSQ>2.0表示該題將扭曲或破壞測量系統；MNSQ 在1.5～2.0之間表示該題對測量的建構雖不具生產性，但也不具破壞性；MNSQ 在0.5～1.5之間表示該題對測量具生產性；MNSQ<0.5表示該題對測量有較少生 產性，當MNSQ值可以被接受時，ZSTD值是可以被忽略的。由圖3-4-2顯示本份 試題大多數的題目符合單向度及局部獨立性的IRT模式。而「涼亭」試題中1-1、

1-2、1-3小題的OUTFIT值＞2，因為這3個小題為引導學生回答第4小題的提示，

因此予以保留。

（3）預試試題的學生個人能力值及CRC曲線

學生的個人能力值（person ability）的意義為若學生的能力高於題項的難度，

在作答上答對的機率就愈高，而依各種能力者得到不同分數類別的機率所畫出來 的曲線稱為類別反應曲線（Category Response Curve, CRC）。研究者利用Winsteps 將學生在數學素養試題的總分換算成學生的個人能力值並繪製CRC 曲線藉此觀 察學生的答題表現。預試的學生個人能力值如圖3-4-3 所示：

圖3-4-3 預試學生個人能力值

以總分為 19 分的學生及試題 1-4 的 CRC 曲線為例，總分 19 分換算成個人 能力值為.04，而 P（0）、P（1）、P（2）表示此學生在 1-4 題得到 0 分、1 分、2 分的機率。如圖3-4-4 所示：

圖3-4-4 預試試題 CRC 曲線範例

由圖3-4-4 可知，能力值.04 的學生在此題得分的機率分別為 P（0）=0.2、P

（1）=0.6、P（2）=0.2。即能力值.04 的學生在 1-4 小題得到 1 分的機率較高。

2.正式施測

（1）評分者信度

由於本研究的數學素養試題多為開放性的問答題，研究者為避免評分過於主 觀，因此請同校具有教科書編審委員經驗的老師一同進行評分，在記分方面，依 據試題的評分標準（詳見附錄三）進行給分，批閱完若兩人評定的分數不一定，

再進行討論決定該題應給之分數，並將兩人評定的分數結果進行Spearman 相關

再進行討論決定該題應給之分數，並將兩人評定的分數結果進行Spearman 相關