我國TIMSS 2003 抽樣設計與施測情形

(1)

我國 TIMSS 2003 抽樣設計與施測情形

羅珮華

國立臺灣師範大學科學教育中心

壹、前言

我國自 1997 年起參加由國際教育學習成就調查委員會 (The International Association for the Evaluation of Education Achievement ，簡稱 IEA) 主辦的 TIMSS 1999（或稱 TIMSS-R）計畫之後，持續參加由 IEA 辦理的國際數學與科學教育成就趨勢調查 2003 (Trends in International Mathematics and Science Study 2003，簡稱 TIMSS 2003)，調查對象包括國小四年級及國中二年級學生。TIMSS 計畫期望能每四年辦理成就調查一次，以便各國能夠長期對其教育成果監控並進行趨勢研究。 TIMSS 2003 調查的結果：我國國二學生科學學習成就平均成績的國際排名為第二名，與第一名的新加坡無顯著差異；國二學生數學平均成績的國際排名為第四名，與新加坡有顯著差異，但與韓國和香港無顯著差異。我國小四學生科學學習成就平均成績的國際排名為第二名，與第一名的新加坡有顯著差異；數學平均成績的國際排名為第四名，與新加坡和香港有顯著差異，但與日本無顯著差異。國二科學各學科內容領域平均成績的國際排名分別如下：生命科學第二名，化學第一名，物理第三名，地球科學第四名，環境科學第二名。國二數學各分科內容領域平均成績的國際排名分別如下：數第四名，代數第三名，測量第四名，幾何與香港並列第二名，資料呈現與分析第四名 ; 小四科學各學科內容領域平均成績的國際排名分別如下：生命科學第三名，物質科學第三名，地球科學第一名；小四數學各分科內容領域平均成績的國際排名分別如下：數第三名，數型和關係第三名，測量第四名，幾何第四名，資料呈現與分析第三名。這個成果顯示我國數學和科學教育一直有不錯的水準（張秋男等人， 2005）。本文目的希望將執行單位在執行 TIMSS 2003 計畫的一個過程資料提供給研究人員參考，相關內容來自 TIMSS 2003 計畫報告和相關操作手冊與技術報告與資料。

貳、TIMSS 2003 調查研究主要內容

本研究屬於調查研究和量的分析。在國際學者合作下，各項問卷及試題均有嚴謹的設計，以控制其品質。本計畫依 IEA 和美國波士頓學院國際研究中心（ International Study Center, Boston College，簡稱 ISC）規定之方法，針對我國國小四年級和國中二年級學生之數學與科學學習成就進行調查工作。首先我國依規定指定一個全國性的國家中心 (national

(2)

center)負責推動全部研究工作，國科會公開徵求研究團隊，由國立臺灣師範大學科學教育中心獲得承辦此計畫；由計畫主持人國立臺灣師範大學理學院張秋男院長擔任國家研究聯絡人 (national research coordinator，簡稱 NRC)負責執行調查工作與協調所有工作，並派員參加國際 NRC 會議，商討有關國際試題開發、測驗架構分析、工具製訂、各種問卷修訂、施測樣本之取樣、蒐集與處理數據、施測活動暨報告、成果分析及所有相關行政工作。主要工作內容如下： 1. 界定研究對象： TIMSS 研究目的在探討課程與教學對學生學習的有效性，因此測驗時，希望受測對象分別為已接受八年和四年學校教育者，因為各國學生的入學年齡不同，因此各國受測學生年級稍有不同，但大多數國家 TIMSS 2003 抽測學生是八年級學生和國小四年級學生。這個界定與之前 TIMSS 受測對象的定義是可以比較的。 2. 抽樣：依 TIMSS 2003 之規定，各國使用由德國資料處理中心（ Data Processing Center ，簡稱 DPC ）開發 WinW3S 軟體來處理抽樣和記錄學生出缺席情形，由加拿大統計局（ Statistics Canada）負責與各國確定抽樣計畫和完成抽樣表格，並為各國抽出試測和實測的受測學校和候補學校，同時加拿大統計局負責將各國抽樣資料計算成各國測驗的加權資料。 3. 編排測驗題本： TIMSS 2003 測驗架構包含預期學生在學校的數學及科學課中可能學到學科內容、操作或行為表現，測驗題本採輪測設計 (rotated test booklet design)，每一本測驗題本包含數學與科學試題。試測時八年級有 5 本測驗題本，四年級有 7 本測驗題本；實測時八年級和四年級各有 12 本測驗題本。每位學生只考其中一本測驗題本。實測四年級有 313 題試題，八年級有 383 題試題，各年級分別將試題區分為 14 個數學群組（ M01-M14）和 14 個科學群組（ S01-S14），預期每個群組試題四年級學生需花 12 分鐘完成，八年級學生需花 15 分鐘完成；每個題本分成兩部分，每部分由 3 個群組組成，學生完成第一部分測驗後，可以休息片刻再繼續進行第二部分測驗。各個測驗題本內試題群組排列方式如下表一所示。 4. 測驗時間安排：測驗日期由受測學校與各國家中心排定，測驗過程分兩階段進行，四年級的測驗時間為 72 分鐘，每一階段測驗時間為 36 分鐘，中間休息 10-20 分鐘；八年級的測驗時間為 90 分鐘，每一階段測驗時間為 45 分鐘，中間休息 10-20 分鐘，各執行施測學校可以視情況調整。完成測驗後學生需填寫一份問卷，以作為探討學生成就高低的依據。 5. 問卷內容範圍：包含有學生、教師、學校及課程四種問卷，以收集有關學生學習、教師教學、學校行政設施與課程資

(3)

表一、TIMSS 2003 八年級和四年級測驗題本內試題群組排列方式（資料來源：Martin, et al., 2004）第一部分第二部分測驗題本第一區第二區第三區第四區第五區第六區 1 M01 M02 S06 S07 M05 M07 2 M02 M03 S05 S08 M06 M08 3 M03 M04 S04 S09 M13 M11 4 M04 M05 S03 S10 M14 M12 5 M05 M06 S02 S11 M09 M13 6 M06 M01 S01 S12 M10 M14 7 S01 S02 M06 M07 S05 S07 8 S02 S03 M05 M08 S06 S08 9 S03 S04 M04 M09 S13 S11 10 S04 S05 M03 M10 S14 S12 11 S05 S06 M02 M11 S09 S13 12 S06 S01 M01 M12 S10 S14 料。學生背景問卷由學生回答有關於對數學與科學的態度、教室活動、家庭背景及學校外之活動；被取樣之學生的數學和科學教師回答有關教學重點、教學經驗、使用之教科書、教育程度與專業訓練及他們對數學或科學主題是否教過的看法；學校校長回答有關學校規模、學校資源、數學和科學課程及教師支持情形。課程問卷由 NRC 負責填寫，用以分析測驗內容與各國課程配合情形。 6. 調查工具翻譯：國際之調查工具原為英文，我國必須將試題和問卷翻譯成中文，並將譯本送至 IEA 確認翻譯的正確性和送至 ISC 確認排版後，才可以印製和施測。 7. 施測：每一國家依據 TIMSS 2003 訓練手冊來訓練人員進行施測工作，包括學校聯絡人和監試人員，並利用抽查訪視測驗來監控施測品質。 8. 非選擇題評分：在 TIMSS 1999 中的非選擇題稱為自由反應試題（ free- response item）， TIMSS 2003 中稱為建構反應試題（ constructed-response item ）。這是用診斷式評分系統來評分，每一題試題的給分標準以兩位數字碼給分，第一位數字表示回答的正確性和得分，其中等於〝 1〞時表示該題得分為一分，等於〝 2〞時表示該題得分為二分，等於〝 7〞時表示該題答案錯誤得分為零。第二位數字代表答案類型，包括用來定出特別答案、策略、共同錯誤與迷思概念等，由國際研究中心提供評分指引。例如 10、11、12、13、 14、 … 19 和 20、 21、 22、 23、 24、 …

(4)

29 為正確的評分碼；錯誤答案類型包括 70、71、72、73、74、… 78 等答案， 79 用來表示非評分標準指引所標示的其他不正確答案 ( 包含刪掉 / 擦掉，塗鴉，難以辨認或無效的嘗試 )。評分碼 99 用來表示空白沒有作答。 9. 國際資料庫建立：由 DPC 開發 WinW3S 和 WinDEM 軟體給 TIMSS 參與國家使用，各國利用 WinW3S 來處理班級抽樣和記錄學生出缺席情形，再用 WinDEM 軟體配合來進行學生作答數據輸入。各國完成資料輸入之後將檔案送交 DPC 彙整， ISC 匯集各國資料之後，開始分析數據，配合抽樣加權，以 IRT 量尺方式產生每位學生的數學與科學量尺分數。 10. IEA 和 ISC 出版國際數學報告、國際科學報告和技術報告，並提供資料庫相關說明給各界使用。

參、我國 TIMSS 2003 抽樣設計

TIMSS 調查中各國的抽樣工作都是在加拿大統計局的指導下進行。我國學制正式教育始於國小一年級，因此在測驗時已接受八年和四年學校教育者，分別為國中二年級學生和國小四年級學生，所以我國 TIMSS 2003 受測對象為國中二年級學生和國小四年級學生。TIMSS 2003 的抽樣模式沿用 TIMSS 1999 年的階層群集抽樣設計與機率等比例 (probabilities-proportional- to-size，簡稱 PPS)系統抽樣方法來抽取受測學校。由於 TIMSS 的分析焦點在於學生的學習成就和影響學習的因素，因此探討的對象階層包含了學生、班級和學校，而這些階層就成了抽樣單位。TIMSS 2003 的抽樣設計要求各階層抽樣時，都必須符合抽樣的正確性和調查資料品質的要求。

一、學校抽樣

TIMSS 2003 全體抽樣設計主要採用二階分層群集抽樣設計，第一階抽樣單位是學校，我國依照國際排除受測的規定，將啟聰、啟明、啟智、華僑中學和戲曲學校等特殊學校列於排除受測名單。扣除排除學校名單之後的所有公私立國民中學、完全中學、附設國中部學校，即是我國八年級學校抽樣的母群；全部公私立國民小學是我國四年級學校抽樣的母群。 TIMSS 的抽樣分層變數分為外顯的 (explicit)和內隱的 (implicit) ，我國 TIMSS 2003 沿用 TIMSS 1999 的分層變數，選擇了二個分層變數：地理上分區和學校大小。我國將學校依所在地的地理位置分為五區：（1）北區（Region 1）：新竹以北，含宜蘭；（2）中區（Region 2）：苗栗以南至雲林；（3）南區（Region 3）：嘉義以南至屏東；（4）東區（Region 4）：臺東和花蓮；（5）離島地區（Region 5）：。在 1999 年時我國首次參與 TIMSS 研究，因考量正式測驗實施時的費用、複雜度、困難度、地理因素與特小型學校等各種因素，所以排除離島地區的學校受測；但在 2003 年已經克服可能遇到的困難，所以離島學校也在抽樣母群中。

(5)

學校大小是用學校八年級或四年級班級數來區分，將學校分為大、中、小三型學校，其中國中八年級班級數在 13 班（含）以上者為大型學校，6-12 班者為中型學校， 5 班（含）以下者為小型學校；小學四年級班級數在 8 班（含）以上者為大型學校，3-7 班者為中型學校，2 班（含）以下者為小型學校。我國的受測學校名單是由加拿大統計局抽取的，因為我國學制一致，並無使用外顯分層變數抽樣，我國的抽樣過程加拿大統計局除了用我國指定的二個內隱分層變數之外，加拿大統計局在八年級另增加男校、女校和男女混合校作為分層變數，這項資料記載在國際資料庫使用手冊中，若要查看我國在 TIMSS 2003 資料中抽樣的內隱分層變數，可參考表二代碼的對照與說明；為避免受測樣本不足，加拿大統計局在抽樣過程中將我國受測年級班級人數少於 8 人的學校排除；抽取受測學校時，同時也將每個受測學校的第一順位和第二順位候補學校名單抽取出來，如果原被抽到的受測學校無法施測時，必須由候補學校受測，不可任意選擇學校受測（ Martin, Mullis, & Chrostowski, 2004）。

表二、我國 TIMSS 2003 抽樣過程使用之內隱分層變數代碼與說明（資料來源：Martin, 2005）註：有*符號之代碼，表示在此區域中沒有抽到受測學校，因此該代號不會出現在資料檔中。八年級四年級內隱分層變 數代碼 (IDSTRATI) 內隱分層變數代碼說明

(Implicit Stratum Label)

內隱分層變數 代碼 (IDSTRATI) 內隱分層變數代碼說明 (Implicit Stratum Label) 1* 北區（ Region 1）男校 1 北區（ Region 1） 2 北區（ Region 1）女校 2 中區（ Region 2） 3 北區（ Region 1）男女混合校 3 南區（ Region 3） 4* 中區（ Region 2）女校 4 東區（ Region 4） 5 中區（ Region 2）男女混合校 5* 離島地區（ Region 5） 6* 南區（ Region 3）男校 7 南區（ Region 3）女校 8 南區（ Region 3）男女混合校 9 東區（ Region 4）男女混合校 10 離島地區（ Region 5）男女混合校

(6)

二、班級抽樣

第二階抽樣單位是受測學校內的班級。每一個國家都是根據加拿大統計局提供的受測學校名單進行班級抽樣工作，這個階段是利用 WinW3S 軟體進行隨機抽樣。通常在每一個受測學校抽出一個受測班級，但是有些學校也許會因為一個班級學生人數太少而需要抽出一班以上的學生來受測。當我國從加拿大統計局收到受測學校名單後，即開始與各受測學校聯繫，告知學校有關 TIMSS 調查的目的與過程，並尋求學校的支持與配合，由受測學校提供學校受測年級的班級名單與學生人數，以供進行班級抽樣。受測班級挑選出來之後，再向各個學校收集受測學生個人姓名、性別和出生年月等資料，以便製作測驗紀錄表格，並請學校轉知學生即將接受此一調查。雖然校內抽樣過程由我國自己進行，但仍接受國際監控，於抽樣完成時將抽樣電腦程式寄回 DPC 確認所有抽樣過程是否符合規定。學校內排除受測學生的條件主要有三項：(1)學習遲緩的學生：此類學生是指經由校長或其它教職員〝專業〞意見認定學習遲緩的學生，或者是經由心理醫師認定為學習遲緩的學生。這類學生包括情緒性或心智上不能照著一般的測驗說明去做的學生。學業成績不良或管教上有問題的學生不可用這個原因將之排除。(2)肢體殘障學生：這類學生指為永久性的身體殘障，導致無法參加 TIMSS 測驗或者無法像正常學生一般進行測驗者。如果肢體雖然殘障，可以與正常學生一起回答測驗問題者仍須被包含在測驗之內。 (3) 母語有困難者：學生實質上無法讀或說測驗使用的語言，而且在考試狀態下無法克服語言障礙者。尤其是學習本測驗所使用的語言的時間未逾一年者。 TIMSS 的抽樣設計希望每題試題在各國至少有 400 個有效樣本，因此各國每個年級至少抽測 150 校，3000 至 4500 位學生接受測驗，各國被抽測的學校至少要有 85%參與率，而各國全體學生至少要有 85% 參與率，受測班級學生的參與率如果低於 75%，則該班成績不被採計。 TIMSS 2003 調查過程中，我國得到所有受測學校的配合，因此學校參與率為 100%，僅少數學生於測驗當日缺席，八年級和四年級全體學生參與率皆達 99%。我國實測時，八年級和四年級各有 150 校接受調查，每校一班參加測驗，有效樣本八年級為 5379 位學生，四年級為 4661 位學生（詳見表三）。從國際報告得知英國八年級調查只有 54%學校接受測驗，雖然學生參與率達 85% ，計算後整體參與率為 46%，仍不符合 TIMSS 調查的抽樣要求，因此英國八年級學生成績不被列入國際評比。英國四年級調查有 82% 學校接受測驗，學生參與率達 93%，計算後整體參與率為 76%，符合 TIMSS 調查的抽樣要求，因此四年級學生成績可以列入國際評比。

三、班級內學生抽樣

第三階抽樣單位是受測班級內學生抽

(7)

樣，對大多數國家和受測學校而言，都只需進行到第二階抽樣，被抽到的受測班級內所有學生都必須接受測驗。但若因為該班學生人數過多，考量測驗所需費用或其他因素，可以只抽取部分學生進行測驗，這時就繼續使用 WinW3S 軟體提供的班級內學生抽樣功能，從各班學生名單隨機抽取受測學生。

肆、 TIMSS 2003 抽樣設計班級內

的群集效應

TIMSS 2003 原則上以班級作為抽樣單位，因此會有班級內的群集效應存在， TIMSS 以各國各年級的班級平均人數做為群集大小，並選定班級內的相關是 0.3，根據抽樣設計表決定抽樣的學校數量，決定各國至少都從受測學生母群中選取 150 所學校，每校一個班級接受測驗調查，這樣可以在學校和班級層次產生 95%的信賴區間，而且標準差在± 16%以內。為了避免抽樣的精確性下降，藉由以前 TIMSS 的經驗，對於影響群集效應的班級內相關係數進行評估（表四）。若班級內相關增高，表示調查的可信度較差，這時可能需要考量分層變數的適當性，或借重增加抽樣樣本數來提高調查的信度(Foy & Joncas, 2001)。我國 TIMSS 2003 年的調查班級內的相關皆低於 0.3，顯示我國抽樣有很好的精確性。

表三、我國 TIMSS 2003 抽測與受測人數統計（資料來源： Martin, et al., 2004）受測班級數有效受測學生人數抽測學生人數特殊因素排除人數退學人數缺席人數總計無效人數四年級 150 4661 4793 88 11 33 132 八年級 150 5379 5525 37 54 55 146

表四、各國 TIMSS 2003 調查班級內的相關係數（資料來源： Foy, et al., 2005）四年級八年級國家數學科學數學科學亞美尼亞 Armenia 0.305 0.334 0.204 0.270 澳大利亞 Australia 0.278 0.238 0.523 0.409 巴林 Bahrain －－ 0.150 0.099 比利時 Belgium (Flemish) 0.163 0.148 0.699 0.567 波札那 Botswana －－ 0.172 0.193 保加利亞 Bulgaria －－ 0.419 0.435 加拿大（安大略省） Canada (ON) 0.230 0.197 0.171 0.145 加拿大（魁北克省） Canada (QC) 0.145 0.111 0.409 0.308 智利 Chile －－ 0.474 0.310

(8)

四年級八年級國家數學科學數學科學臺灣 Chinese Taipei 0.139 0.092 0.285 0.252 賽普魯斯 Cyprus 0.100 0.109 0.068 0.105 埃及 Egypt －－ 0.275 0.263 英格蘭 England 0.263 0.223 0.712 0.567 愛沙尼亞 Estonia －－ 0.251 0.211 迦納 Ghana －－ 0.356 0.331 香港 Hong Kong (SAR) 0.257 0.216 0.568 0.447

匈牙利 Hungary 0.252 0.199 0.340 0.258 印尼 Indonesia －－ 0.554 0.475 伊朗 Iran 0.296 0.259 0.318 0.244 以色列 Israel －－ 0.334 0.269 義大利 Italy 0.349 0.333 0.311 0.288 日本 Japan 0.053 0.040 0.167 0.120 約旦 Jordan －－ 0.255 0.201 韓國 Korea －－ 0.091 0.072 拉脫維亞 Latvia 0.247 0.244 0.254 0.204 黎巴嫩 Lebanon －－ 0.456 0.426 立陶宛 Lithuania 0.259 0.176 0.261 0.206 馬其頓 Macedonia －－ 0.397 0.406 馬來西亞 Malaysia －－ 0.535 0.508 摩爾多瓦 Moldova 0.410 0.360 0.346 0.313 摩洛哥 Morocco 0.355 0.278 0.103 0.129 荷蘭 Netherlands 0.181 0.154 0.706 0.608 紐西蘭 New Zealand 0.359 0.357 0.478 0.443 挪威 Norway 0.118 0.110 0.119 0.097 巴勒斯坦 Palestinian Nat. Auth. －－ 0.186 0.177

菲律賓 Philippines 0.514 0.456 0.546 0.480 羅馬尼亞 Romania －－ 0.376 0.382 俄羅斯 Russian Federation 0.462 0.433 0.349 0.332 沙烏地阿拉伯 Saudi Arabia －－ 0.207 0.184 蘇格蘭 Scotland 0.195 0.184 0.658 0.496 塞爾維亞 Serbia －－ 0.144 0.138

(9)

四年級八年級國家數學科學數學科學新加坡 Singapore 0.555 0.503 0.765 0.806 斯洛伐克 Slovak Rep. －－ 0.319 0.274 斯洛維尼亞 Slovenia 0.114 0.114 0.110 0.074 南非 South Africa －－ 0.641 0.600 西班牙（巴斯克人國家） Spain (Basque) －－ 0.198 0.128 瑞典 Sweden －－ 0.406 0.313 敘利亞 Syria －－ 0.264 0.222 突尼西亞 Tunisia 0.359 0.331 0.199 0.142 美國 United States 0.326 0.338 0.609 0.533 葉門 Yemen 0.441 0.393 －－

伍、我國 TIMSS 2003 實測施測情

形

TIMSS 2003 調查的主要工作與時程如下： 1. 91 年 9 月組成測驗翻譯工作小組，進行翻譯與修訂實測調查工具。翻譯實測之工具，包括國小四年級測驗題本共 12 本、四年級學校問卷、四年級教師問卷、四年級學生問卷、國中二年級測驗題本共 12 本、國中二年級學校問卷、國中二年級數學教師問卷、國中二年級科學教師問卷、國中二年級學生問卷。 2. 由加拿大統計局提供實測受測學校名單，國小四年級及國中二年級各 150 所學校，開始與受測學校聯絡，調查這些學校九十一學年度受測年級的班級數、班級名稱、各班學生人數，準備進行班級抽樣。 3. 由科教中心依國際測驗總部規定，使用 WinW3S 軟體進行班級抽樣，分別從每校抽出一班作為施測對象。 4. 調查受測班級學生名單，製作受測學校之教師追蹤表與學生追蹤表。 5. 92 年 3 月 IEA 和 ISC 確認所有翻譯工具後才印製調查工具。 6. 參加國家聯絡人會議，接受自由反應試題評分訓練，並帶回閱卷評分相關資料。 7. 92 年 3 月底至 5 月初分北、中、南區辦理實測受測學校聯絡人及監試人員講習會，邀請受測學校聯絡人及監試人員參加，使其了解本計畫之目的與施測時進行之程序、注意事項、及測驗工具保密等相關工作。 8. 指定國中二年級 150 所學校於民國 92 年 5 月 19 日至 30 日舉行實測，國小四年級 150 所學校於民國 92 年 5 月 26 日至 6 月 6 日舉行實測，科教中心派出 15 位觀察員抽訪國中和國小各 15 所受測學校，訪視各受測學校測驗之程序是

(10)

否有依規定進行。國際測驗總部委託國際觀察員小組，代表 IEA，抽訪國中和國小各 15 所受測學校。因此共有 60 所學校有觀察員共同監試測驗。每位學生必須填寫一份問卷和試題，受測班級之數學與科學課程教師需分別填寫一份問卷，校長或由校長指定專人填寫一份學校問卷。測驗後由學校聯絡人負責將所有測驗材料送回科教中心。 9. 辦理自由反應試題評分研習會，邀請數學、物理、化學、生物、地球科學、環境科學等科的閱卷教授、教師、研究生，分科研討診斷式評分系統，開始閱卷。 10. 92 年 6 月初開始進行各種問卷、試題答案之輸入訓練與輸入工作，使用由 DPC 提供之 WinDEM 軟體輸入各種資料。 8 月中旬完成實測閱卷工作。 11. 92 年 9 月中旬完成各種問卷、試題答案之輸入，經複檢資料後於九月底將資料送至 DPC 進行分析。 12. 92 年 9 月完成資料輸入相關表格，並分送至 ISC 和 DPC。 13. 92 年 9 月完成電腦閱卷 IEA Trend Scoring Reliability。 14. 92 年 9 月完成電腦閱卷 IEA Cross- Country Scoring Reliability。

15. 92 年 10 月完成實測 NRC 報告，並送至 ISC 和 DPC。 16. 92 年 10 月完成 Curriculum 問卷填寫。

陸、參考文獻

張秋男、邱美虹、李田英、楊文金、譚克平、曹博盛、林碧珍、蔡文煥、張美玉、張俊彥、方泰山、洪志明、洪有情、林陳涌、張永達、張子超、張殷榮、羅珮華（ 2005）。「國際數 學與科學教育成就趨勢調查 2003」 期末報告。行政院國家科學委員會補助專題研究計畫成果報告。國立臺灣師範大學科學教育中心。 Martin, M., Mullis, I., & Chrostowski, S.

(Eds.). (2004). TIMSS 2003 Technical Report. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

Martin, M. (Ed.). (2005). TIMSS 2003 User Guide for the International Database – Supplement2. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

Foy, P. & Joncas, M. (2001). Trends in International Mathematics and Science Study 2003 School Sampling Manual. Statistics Canada.

Foy, P. (2005). Trends in International Mathematics and Science Study 2007 School Sampling Manual. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.

我國TIMSS 2003 抽樣設計與施測情形