研究工具

本研究所採用之資料來源為 ISC 於 2004 年 12 月 14 日公佈之 TIMSS 2003 之 調查結果，由 ISC 網站（Timss & Pirls International Study Center, 2007）直接下載 取得台灣地區四年級學生的數學成就測驗結果及各項問卷資料。因此，本研究的 研究工具即為 TIMSS 2003 的測驗調查工具，包含學生數學成就測驗題本和學生

背景問卷。分別介紹如下：

一、數學成就測驗題本之編製及施测

TIMSS 2003 成就測驗試題的開發透過各國的國家研究協調人（NRC）共同 參與，由各國數學學科專家提供相關試題題目，最後經過國際研究中心（ISC）

科學和數學試題審查委員會審查，先舉行試測，再由試測的結果資料分析，挑選 出適當的測驗試題，共發展出 12 本學生成就測驗題本。每一本測驗題本皆含有 數學及科學兩部分的試題，編號 1 至 6 的測驗題本中所含的數學及科學試題比例 各為 4：2；編號 7 至 12 的測驗題本中所含的數學及科學試題比例則為 2 比 4。

測驗分為試測（field test）與正式施測（main survey）。台灣地區於 2002 年 4 月 18 日舉行試測，共有 25 所小學，50 個班級，1601 名國小四年級學生參加測 驗。正式施測日期則在 2003 年 5 月 19 日至 6 月 6 日舉行，抽樣 150 校，每校 1 班，共 4,661 位國小四年級學生受測。

在每次 TIMSS 測驗後會保留部分試題作為趨勢題，在下次測驗時用以觀察 學生成就趨勢，其他可釋出的試題則為公開試題，並在四年後的測驗中以新發展 的試題取代已釋出的試題（Mullis, Martin, Smith et al., 2003）。所以，TIMSS 2003 的實測試題包含了 TIMSS 1995 和 TIMSS 1999 未公開的試題，以及根據已公佈 試題之內容與難度，另行開發的新試題。TIMSS 2003 國小四年級的實測試題共 有 313 題，數學試題佔 161 題（不含子題），其中選擇題占 54%，非選擇題占 46%。

其內容包含：數（number）、組型和關係（pattern and relation）、測量（measurement）、 幾何（geometry）和資料（data）五大領域。其各領域之分數分配如表 3-1。

由於 TIMSS 2003 各年級成就測驗題本共 12 本，為了兼顧每一本學生成就測 驗題本的關聯性，TIMSS 2003 使用了「矩陣抽樣技術（matrix sampling techniques）」

（Martin, Mullis, & Chrostowski, 2004），將測驗試題先分成 28 個區組，編號 M01 到 M14 屬於數學領域，S01 到 S14 為自然領域。其中，M1 至 M6 和 S1 至 S6 屬

於 TIMSS 1995 或 TIMSS 1999 曾經測驗過的試題，M7 至 M14 以及 S7 至 S14 則

Source of Items Mathematics Blocks Science Blocks

Trend Items（TIMSS 1995 or 1999） M01 S01 Trend Items（TIMSS 1995 or 1999） M02 S02 Trend Items（TIMSS 1995 or 1999） M03 S03 Trend Items（TIMSS 1999） M04 S04 Trend Items（TIMSS 1999） M05 S05 Trend Items（TIMSS 1999） M06 S06 New replacement Items M07 S07

New replacement Items M08 S08 New replacement Items M09 S09 New replacement Items M10 S10 New replacement Items M11 S11 New replacement Items M12 S12 New replacement Items M13 S13 New replacement Items M14 S14

資料來源：Mullis, Martin, Smith et al., 2003, p.85

這 28 組試題同樣再以矩陣抽樣技術將其分布在十二本題本中，使得每本題 本各有 6 群試題，且每本題本內同時包含數學與科學部分的試題，其中前六本題 本內含 4 群數學試題及 2 群科學試題，另六本題本則包含 2 群數學試題和 4 群科 學試題（如表 3-3）。

表 3-3 TIMSS 2003 小四成就測驗題本設計 試題區組

學生成就測驗題本 第一部分 第二部分

題本 1 M01 M02 S06 S07 M05 M07 題本 2 M02 M03 S05 S08 M06 M08 題本 3 M03 M04 S04 S09 M13 M11 題本 4 M04 M05 S03 S10 M14 M12 題本 5 M05 M06 S02 S11 M09 M13 題本 6 M06 M01 S01 S12 M10 M14 題本 7 S01 S02 M06 M07 S05 S07 題本 8 S02 S03 M05 M08 S06 S08 題本 9 S03 S04 M04 M09 S13 S11 題本 10 S04 S05 M03 M10 S14 S12 題本 11 S05 S06 M02 M11 S09 S13 題本 12 S06 S01 M01 M12 S10 S14

資料來源：Martin, Mullis, & Chrostowski, 2004, p.53

實際施測時，十二本題本是採測驗題本輪測設計（rotated test booklet design）

循環的發給受測學生作答，每個學生拿到的題本可能都不相同，所以可讓每個題 本的填答比率幾乎相等。另外，基於統計上的需要，每個參加國的受測學生至少 4500 人，如此可以確保每個試題都可以有具代表性的學生樣本。測驗的進行過 程，每個受測學生只需要完成其中一本題本，國小四年級的測驗時間為 72 分鐘，

測驗後還保留 30 分鐘的時間讓學生填答學生問卷（表 3-4）。

表 3-4 TIMSS 2003 學生測驗時間

作答部分 作答時間

學生題本－Part 1 36 分鐘 休 息

學生題本－Part 1 36 分鐘 休 息

學生問卷 30 分鐘

資料來源：Mullis, Martin, Smith et al., 2003, p.87

二、學生數學成就測驗試題之答題型態及計分方式

TIMSS 2003 試題的答題型態可分為選擇題、填充題和問答題，其中填充題 和問答題等非選擇題測驗稱為自由反應試題。TIMSS 測驗提供每一自由反應試 題閱卷之標準評分碼以及空白評分碼，各國於閱卷過程中可以視其需要增加評分 碼及其標準，然後將增訂部分之資料送交資料處理中心（DPC）和國際研究中心

（ISC）。試題和評分碼的設計與開發，需經過試測來收集各國學生對各個試題的 答案，修正試題和評分碼後，才完成測驗試題與閱卷的評分標準的開發（Martin &

Mullis, 2000；羅佩華，2004）。

自由反應試題得分計分方式是利用兩位數字“XX”的評分碼來表示，因此各種 正確或合理的答案可得滿分或部份得分。其中第一碼等於“1”時表示該題得分為一 分，即 1X（X=1, 2, 3,…, 9），包括 10、11、12、13、14、…19 等正確的評分碼。

當第一碼第於“2”時表示該題得分為二分，即 2X（X=1, 2, 3,…, 9），包括 20、21、

22、23、…29 等正碼的評分碼。當第一碼等於“7”時，7X（X=1, 2, 3,…, 8）評分

碼表示該題答案錯誤，其得分為 0，錯誤答案型態包括 70、71、72、73、…78 等 答案。79 內來表示非評分標準指引所標示的其他不正確答案（包含刪掉／擦掉，

塗鴉，難以辦認或無效的嘗試）。第二碼為診斷答案類型的代碼，藉此可發現學 生使用的特別方法或策略或錯誤、迷思概念的答案。通常第二碼以 0-5 表示答案 正確的各項使用方法或策略，而「9」則表示使用其他類型的方法作答，7 和 8 則 為各國於閱卷過程中所發現之其他需要增加評分碼及其類型，再將增訂部分之資 料送交 DPC 和 ISC。特別代碼「99」專門用來表示空白沒有作答（Martin, 2005）。

（請參考附錄三）

三、學生背景問卷

TIMSS 的問卷設計源自美國數學和科學機會調查計畫（The Survey of Mathematics and Science Opportunities，簡稱 SMSO），這個計畫希望找出可能影 響學生學習成就的所有因素，同時藉由調查資料來建構一個學生教育經驗模式。

TIMSS 在發展調查工具時即是參考 SMSO 調查的結果，因此問卷內容包含非常 廣泛，可以用來研究學生、教師和學校特性，進而可以利用從學生、教師和學校 收集到的資料，來解釋造成不同國家學生的數學和科學成就差異的原因（Martin,

& Mullis, 2000；羅珮華，2004）。

IEA 依循 TIMSS 1995 學生問卷架構，國際研究中心、國家研究協調人、問 卷項目複審委員會（Questionnaire Item Review Committee，簡稱 QIRC），以及資 料處理中心彼此反覆合作，經過長期及多次的修定測試工具，完成了 TIMSS 2003 實測所用的問卷調查工具。TIMSS 2003 的學生問卷主要是希望獲得學生的家庭 背景以及學習數學和科學的態度和經驗。

國小四年級學生問卷共有 19 題，大致可分成七類，每個類別中各有 1-5 個不 等的題目，每個題目中各有不等的選項，問卷摘要如表 3-5，設計的填答時間為 30 分鐘。

表 3-5 TIMSS 2003 小四學生問卷 尺化方法（scaling methods），藉由考慮每位受測學生平均答對率和每個試題的難 度和鑑別度能力，來計算該生在數學和科學成就測驗各內容領域可能的得分，用 似真值（plausible value）來作為學生成就的指標（Martin, Mullis, & Chrostowski, 2004）。每位學生的測驗題本中每一題的得分加總後的成績為其原始成績（raw scores），由於每本題本的題目和題數有所不同，不適合拿來做跨題本的比較。IEA 將每個題本經過加權計算後的平均以 50 為基準，標準差是 10 來估算學生成就得 分作為標準化後的成績（standardized raw scores），由於估算本身即具有不確定性

與誤差，TIMSS 依照慣例，為每位學生在數學和科學各個內容領域產生五個估計 的似真值為受測學生成績，同時使用變異數將抽樣誤差一併算進來。本研究採標 準化後的成績為研究變項。

五、信度與效度

（一）轉譯信度

由於波士頓的國際研究中心（ISC）和參與國家的國家研究協調人（NRCs）

共同發展的 TIMSS 2003 成就測驗和背景問卷調查工具是以英語編製的，因此，

非英語系國家必須根據 ISC 建立的程序把測驗工具翻譯成適宜各國的國家語言及 文化背景，並確保測驗工具的標準化。為此，ISC 要求各國 NRCs 負責先行在該 國內發展明確的相關指引手冊，並且與主題專家商議確保試題的意思和困難度沒 有改變；再由自主的翻譯公司的專業譯者檢驗翻譯品質等工作（Martin, Mullis, Gonzalez, & Chrostowski, 2004），然後送交 IEA 秘書處。IEA 秘書處再邀請獨立 的檢驗者將各國的翻譯題本與 TIMSS 2003 國際版本相互對照，以評論各國翻譯 的相似性。當這些翻譯題本和文件與國際版本有任何偏差時，NRCs 須執行所有 必要的糾正，再送至 ISC 鑑定審查，最後定稿。一連串確認翻譯無誤與文化適應 的嚴謹程序，目的皆在確保國際比較的公平與正確性（Martin, Mullis, &

Chrostowski, 2004；陳麗妃，2006）。

（二）非選擇題評分信度

TIMSS 2003 數學成就測驗中，需要依賴人工閱卷評分的非選擇題約佔 40%，

為了使各國的評分能達到一致性，TIMSS 2003 實施跨國及國內非選擇題的評分 者信度考驗的程序，製作了一本評分指引手冊，包含如何執行使用和說明以及不 同類型的學生反應範例，並利用國際研究協調會議進行評分實作練習，訓練各國 代表團員，再由各國各國代表團員與承辦單位召集會議，訓練該國閱卷評分者，

使其充分瞭解並能應用國際評分標準的評分碼，批改學生的答案。

TIMSS 另外研發 WinW3S 軟體，讓各個國家可以從 12 種測驗題本分別隨機 選擇至少 100 個學生回應的可靠性樣品，交由兩位獨立自主的閱卷者評分，目的 在於證明每一個國家評分的一致性。台灣地區在 TIMSS 2003 數學成就測驗的非 選擇題評分信度：正確得分的一致性（第一碼）的精確百分比為 99，而對於學生 作答的情形，不同的閱卷者所給與的評分碼標準可能不同，因此診斷性得分的一 致性（第二碼）較低，其精確百分比為 97（Martin, Mullis, Gonzalez, & Chrostowski, 2004）。可見台灣地區 TIMSS 2003 非選擇題部分評分信度相當高。

（三）測驗題本信度

TIMSS 2003 測驗中，學生使用的題本採用輪測方式分配，每位學生僅使用

TIMSS 2003 測驗中，學生使用的題本採用輪測方式分配，每位學生僅使用