「第三次國際數學與科學教育成就研究後續調查」之抽樣設計

(1)

「第三次國際數學與科學教育成就研究

後續調查」之抽樣設計

鑼聶華

盟立臺灣師範大學科學教育中心

摘要

第三丘三次國際數豆學發 E鸚臭戀i 科學教育成就研究後讀謂至蔽娃(仟Th圳ir必d

lnternational

Ma剖the唸em磊滋ti協c的s

and

Science

S釗tud句y-次Rep斜ea剝t '嚮稱 T刊IMS路S-次狡軒}採用三階分層群集搧樣設言訐十(付tI衍1汀re倪e-位.

c叫lus叫ter SaI淤Y羽lple缸 d缸c岱的S吋ig釘伊n) 來抽2擺建各盟的:受萱 ~~U學生，這三蚓期層包括學校、玉是級、以及躍報

內的榜樣，間時在抽樣的過程中必須考量各總必要的排除條件，使符合國際調盜撞樣的草綠諜罪口調查資斜品質的要求。

關鍵字: TI 奴 SS泉、捕樣設 ilt 、第三次獨際數學與科學教育成就研究後縷譚查

叫一…闊

前…

體際教育成就 ~J蓮波香員會 (The

Jnternational Association for the Evaluation Achievement

,

lEA) 在 1993-1995 際數學與科學教育成就研究 (Thírd

International

Mathematics and Science Study

，簡稱 TIMSS)之後，有許多盟家紛給表示希望能有接續的調

'跨了要取得有關學生在數學和科學科目中的知識和的資訊，以及有聽文化環境、

教學寶繡狀況、目標和的安排等，昕伴語學生成就的資訴悴，希望瞭解

TIMSS 研究中九歲群(臨小盛年級)的學生，四年升上八年級(蜀中二年級)之後的

字寬可以比較遠繭研相隔四年的八年級學生的學習成就問是否有差異，於是 IEA

1997 年展院第五次調際數學與科學教育成就研究後續調查(Third

International Mathematics

and SCÎence Study-Repeat

'聽稱T1 MSS-R 或橋路T1 MSS 1999) 。室主於之前沒有參加T1 MSS

陌幸哥拉入後續調查的盟黨用言，雖然無法對其聽內學生進行趨對比較，值的可以與其他關

家進行比較(F峙， (998) 。

圈家統計局 (Stati5tics Canada)發寰。

我聽函立臺灣師範大學科學教育中心會於 1987 年將自 IEA 同意，引用 f 第二次聽i 際科

由美國 805ton

Co

Il

ege

'措樣工作由加拿大

學學習成就調查研究一I

(The Second International

SciencεStudy ，簡稱 SISS)的緝查工具進行

測驗，希望將我圓圈小、臨時3 及高中學生k 數學及科學成就與其飽盟家學生成就做比較。

於 ltt 次漓驗並不是與各盤問將進行，且不在聽聽監控範廳，霞說關際上並沒有將我國此次鵲驗的結果納入討論與比較(醜明通，

1988)

0 1990 年 IEA 開始推動進行 TI 泊 SS 研究嗨，

(2)

「第三次國際數學與科學教育成就研究後續調查 J 之抽樣設計我國未能參與; 界主要國家 TIMSS-R 展開後，為了解我國學生數學與科學教育學習成就，調查研究。具進何灘試時，

TIMSS-R

科會積極努力下，使我國得以正式發加此一閻際性的成就「第二次國際科學學習成就蹄聲研究 J 「分層單機站接」來遣散受潤的班級學生(說明譜， 1988) 。，但不全是隨機抽樣，高是f昔重 TI辨認的經驗精微放泉

(

three心tage

stratified

c1

uster sample design)

際運作的講求任何& Jonc吼 1999) 0 宿於實地參與我矗立 MSS次

望輯室主盟進行的 TIMSS-R 始懂i邊還提(共給有興趣者參考。

TIMSS-R 受站對數

1995 年的 TIMSS 研究謂查，寫了便問持參加 TIMSS 和 TIMSS役的 l唱家可以得對一個具有比較性的成就資料趨勢，特別選定研究的學生母群為 TIM的中的

r Popu!atìon 2

J ' TIMSS-R 受制學生的年級界定與 TIMSS 相悶，「

包含最多 13 」。決定受測年級需要靠各闊的關家聯絡人(

National

Research Coordinator

,

NRC) 結合各國教育體系的訊息來判斷，個或哪三餾年組 O '是依照我屬對兒童入學年齡之規定，以當年，嘴九月一日，因此我盟但含最多 13 圈中三年級，那相當於其他臨家所謂的八年級。布在瀾驗結果中，鷗 14A 瓏，我觀所有受濟學生的平均年齡是 14 .2歲，梧當符合 TIMSS-R 對象之變求治 τIMSS-F之，尚有受輯學生的數學和科學課程教師( 包括生物和理侃教員品) ，以及舉校校長或梧騙人員，起們分 5日黨變填寫教師將脅和舉校將卷，提供馬來?醉不闊的教學安排與學生成就相嚼的訊息。

TIMSS收抽樣按針

一、抽樣單位與神樣人數

一個研究調主要結果的班確程度全賴抽樣設計的品質與組樣實施的組棍，由於 TIM俗-R 的分析魚點在於體您的算是積學智和影響學習的教學特性，

班級、 ?抽樣單位 (sampling

unìt)

0 TIMSS 悅的抽樣設計要要求各階

(3)

科學教育丹刊第 235 期中華民通八十九年十二堯層抽樣時，都品須符合抽樣的正確性和藹查資辛辛品質的要求 (Foy

&

10耶路， 1999) 。調查資料的信度來自於製作可信的學生特質許估，時此 TIMSS長希望每…館臨家都能選出足夠且其有代表性的安潤學生，問時對樣本母群參數和抽樣?最數提出正確的加權評估。 TIMSS-R 抽樣棋確性的標準中，要求每…個探討的繁數至少要有 400 但有效的基發生作答資芳是，這樣才能f吏的描樣誤差不會大於從 400 輯學生簡單隨蟻抽樣所產生的誤差。 TJMSS 良種三十要分析學校和班級層次的資料，原則上以班級作為抽樣單位時，思ll:七會看班級內的群集效應 (clustering effect)存在，為了避免抽樣的精磁性下誨， TJMSS-R 籍自以前 TJMSS 的經驗，對於影響靜集殼憊的班級大小與班絞肉的相閱 (intraclass correlatio的大小進行評估。但括以各鷗各年級的班級平均人數做為群錢大小，並選定1攻級內的招輯是 0 .3 '根檬抬樣說 (表一)決定插樣的學校數童。最後決定各劉鄧?是受測學生母群中選取 150 所學校，每枝一 f胃班級接受棚驗調查，這樣可以在學校和斑級層次康生 95% 的信賴界限(

confidence

Ii

mits)

，前且標準蓋在主持%J共內 (Foy&

10ncas

,

1999) 。

表一抽樣設計表:在 95% 的依賴界限下，預仿的學生人數主 0.1% 的標準義 c 最低學校樣本需求: 150 校 o

(Foy& 1

0r

lcas

,

1999)

;

班級冉的相關( Înt叫…附加 ion)

。1

0.2

0 .3

0 .4

0.5

0.6

0.7

0.8

0.9 -n9… .J…-175490- … 7!旦8旦~'I“ -I9尋eR

5

221

253

285

317

349

381

5

- -.攜起--.“ 施他----剛剛也﹒ 哺恤----顱... ----有輛._.啊，

1105

1265

1425

1585

1745

1905

a

150

I

1 50

I

155

191

227

I

263

299

335

371

10

---叫“四--- 恤----棚-

-

--啊-- --帽-- -- --糊糊啊 --民

₁₅₀₀

I

1500

I

1550

1910

2270

I

2630

2990

3350

3710

15 a

150

180

I

218

255

I

292

I

330

367

姐姐‘--~ --且 h

.--

-輛，“敵恤，‘- ----喇屆世-- 單祖祖祖..- 闖世

3825' 4380: 4950

n

2250

2700:

3270

5505

20 a

150

I

150

289

I

327

365

冉，壘--.枷岫--- - ‘幢幢“圓圓也呻#枷祠.. -輛，崗，包，幽----輛，山區---蝠，“---- “ ---喃喃喃冒冒，

n

3000

3000' 3000

57 容。 65 毒。

₇₃₀₀

25

--棉-

-

a

--閉關情帥， ---叫個-

150

-- - 明胃---神

150

唱團

172 i

，個欄-

211

---明啊----開勵--

249 287 !

326

364 7175

I

8150

I

9100

n

3750

I

3750

4300

5275

6225

30

在

150

--可-

150

---，冊甜甜包..-喇喇揖I

150 ‘- --

170

岫.- - - --

209

--嚇W 冒.，.--喇喇-

248

--- 冊也--司『聊聊

286

. .

325

枷旬W可..輛輛

364 n

4500

I

4500!

5100

6270!

7440

8580

9750

10920

35

每 _{- -}

150

I

150

208

246

I

285

324

363

--帽...苟----勵---軒"帥"

---8610

I

9975

“‘個區蝠.-恥而--

-n

5250

I

5250

7280

11340

12705

辱。

a

150

I

168

207

2尋6

285

324

363

啊，嘟嘟--咀..嘟嘟-- 明明. . . 糊- -- 嘟嘟帥悟--咿愉

n

6000

6720

8280

9840

11400

12960

I

14520

是 5 --學明冊申悔，旬開

a

150 _67iF5P0

_…

_{-6p75q0l;"J75F}

₁₅

_{932076oj|i l 2O425}

₅

-_.恥咿嚇傅"﹒旬國

284

323 n

6750

12780

14535

16290

三千

~----+- 7~'~~

150

I

150

I

166

i

205

I

245

?_~4.L___}?.3.

有祕 -wh05 秒 8)Ho lwiHi弱…i立刻

₁₄₂₀₀

₁₆₁₅₀

*綴價受夠人數j通常用平均土豆級人數來代替。直叫抬殼的學校數 H 話抽取的學生人數二、分層抽樣分層蛤樣的設計議常提高指標設計效率或信度， f吏抬樣結果能夠兼顧各梅接群

16

(4)

「第三次懿際數學與科學教育成就研究後續調查 J 之抽樣設計

的分布，而更具有代表性。 τIMSS-R 的分層變數可以是外顯的(explicit)或監內憾的 (implicít)

,

伊:如地理上分臨是一{屋外顯的分鐘變數，用來考量學校的不均勻分布鑄彤，因此將所奮學校名單分成不同臣，再進行抽樣;學校分部較均勻的惜沒下，無須特肘分重損樣，此分層變數即燒肉臻的 o TIMSS-R 全體措樣設計採/甫平諧分層群集抽樣設計，第一階抽樣單位是舉校，自由佇法定件顯域內隱的分智慧發轍，然後幸IJ駕機車等;t仁們(probabilities-proportional-to-size

'

稱悍的系統抽樣方法來描瑕受劉學校(表二是 PPS 系統抽樣的籃哲u)。草種系統指標方式的慢點在於樣作方瘦，容易監控執仟過程是否?奇當 c 金日果被抽到的受輯學校無法臨器時，故血說織學校受器;盟 ltt 抽取受測體校哼，問時 t位將每罷受潤學校的第一 11嬰{立和第二願位 {l笑補學校名單抽取出來。這欄階段是由加拿大姐家統計局根樣各國提哄的資料來拉取安測。階蝴樣單位是受測學校內的路級。每一個盟家都是根慷加拿大墨家說計局提供的受濟學校名單進行班級抽樣工作，這種階段是採用品L 數隨機始碟，通常是夜每一但受測學校柚付:\-{雷受輯錯級，但是有特盟家也許會間寫一個班級學要抬出一班以土的學生來受灘。有些圈，來的學生莖不是所有課程都在何必班一起上課，提此Tl MSS-R 界定班級時，是以所有在持一個數學課程控級上課的頓生稱罵一鵲間級 c 如果這個數學班級學生成員眾自不同年級時，只有曬於受損1 年級的學生需要接受灘試 G 如果受制學校無法界走出班級時，只好從受測年級中的煞有學生輸機拉樣站出受淵學生。用有教過受護首斑紋或受損學生的數學和科學諜報的教師，忠、讀填答教師問譽。第三三幫搗樣單位是覺鶴班級內。基本上被岫到的受激斑紋內都應接受制驗，但是有接關擎的受測斑接內的人數過多，必需再從該斑議 fj 萬分抽樣，以寵數聽機選取適當的人數參加測驗。所 tJ 本階段的抽樣並不個國家都需要使用，我 T1 MSS-R 給樣過程只進佇了前面二個措段，部已經完成員學生受棋名單。表二這是科為一個虛構的結樣絮構來說明 PPS 系統抽樣方法的運用，其中條件是:抽取 150 所學位，所有學校學生總人數是 392154 人，抽樣區間是 2614.3600 '起始重L 數是 1135.15 位。 (Foy& Jonca丸 1999)

學校代碼 |各校受讀5年報學生總人數

緊進所有受讀5 年級學生人數抽樣

172989

532

532 976181

517 1049

564880

487 1536

受測學校 3 惡 7970

461 1997

第… 11龔位候補是 83231

459 2456

第一續往使補

550766

437 2893

句/ 1

(5)

科學教育舟子才華 235 期中 2華民函八十九年十二丹 2286今9

406 3299

60318

385 3684

201035

350 4034

受濟學校

107346

341

再 375 第一瞋位接補

294968

328 4703

第價位候補

677048

311 5014

967590

299 5313

644562

275 5588

32562

266

585尋 1942妙。

247 6101

129135

215 6316

1633

195 6511

受測學校

256393

174 6685

第一順位候補

|

754196

152 6837

第一順位候補|

750793

133 6970

757草莓3

121 7091

743500

107 7198

;

84930

103 7301

410355

97 7398

抽樣油程與排除受到的 {I築件

於每一 1噩噩家可以故據未裝正式測驗實施峙的費用、護體壇、、地理自素與特小建立學校等各單梧，前在不爵的抽樣階段決定撐諱受斃的學校、單敏、或學生名階陸的排除受擱名單幫閑受濟學生母群的關係如關(一)

(Foy& Joncas

,

1999) 。但是每關家排除受測的比例不可以超過該受測年級學生總人數的 5% 。題家級的撐難受輯學校各國界定的覺測學生母群 l 學校級的排除受測學校各盟有效的受灘學生母群; 受沒1斑紋之排除受測學三毛鸝(一) 不得階段的排除受現'J 名單與受測學生母群的顏偉 (Foy& Jonc主s， 1999) 。一 18

(6)

「第三次國際數學與科學教育成就研究後續調查」之抽樣設計

依照國際的時程規定，各國要正確估算排除學校的比例與班級的學生平均人數，並將

各種抽樣相關表格寄至加拿大國家統計局，再由加拿大國家統計局依照 PPS 方式，將試測

(Field

Test)與實測 (Main Survey)受測學校與候補學校名單抽選出來。我國依照國際排除受測

的規定，將啟聰、啟明、啟智等特殊學校列於排除受測名單;由於實施調查時需抽樣訪視，基於天氣、交通、經費等因素考量下，我國將離島學校列於排除受測名單。扣除排除學校名單之後的所有公私立國民中學、完全中學、附設國中部學校，即是我國學校抽樣的母群。而在第一階段分層取樣時，我國提供兩項條件作為分層依據，一是依照地理位置分為四區: 新竹以北，合宜蘭為北區:苗栗至雲林為中區;嘉義以南為南區;臺東和花蓮為東區。另外是以學校受測年級班級數區分為大、中、小型學校，其中 13 班(含)以上為大型學校， 6-12 班為中型學校， 5 班(含)以下為小型學校。由於我國當年度教育統計資料尚未出爐，於是科學教育中心發函至所有國中，調查各學校一、三年級的班級男女學生分布、班級人數、以及各校可排除受測的附設特殊班級如啟聰班、啟明班、啟智班等訊息。統計結果，各校一年級可排除受測班級的人數總和約為當時我國所有國中一、三年級各年級總人數的 0.8% '低於國際不可以超過 5% 的規定。當時我國國中一、三年級最高的班級平均人數是 60 人，最低的班級平均人數是 8 人，各年級班級總平均人數皆約為 39 人，加拿大國家統計局後來將我國學校班級平均人數低於 20 人的 15 所學校列於排除抽樣名單，目的希望能夠有足夠的學生人數接受調查。在確立試測與實測的受測學校與候補學校之後，各國再根據本計畫所提供的抽樣手冊和電腦軟體 W3S(Within-School Sampling) 進行班級或學生的抽樣。我國圈中各班課程基本上都是以班為單位，且同一個班級學生都在一起上課，因此我國 TIMSS-R 抽樣是以班級為單位。在抽樣受測學生時，必需先向已經被選定的安測學校確認排除受測班級，然後依照電腦 Within-School Sampling 程式進行亂數隨機抽樣。受測班級挑選出來之後，首先通知各校並再向各個學校收集受測學生個人相關資料，以便製作測驗紀錄表格，並講學校轉知學生即將接受此一調查。雖然校內抽樣過程由我國自己進行，但仍接受國際監控，需於抽樣完成時將抽樣電腦程式寄回總部確認所有抽樣過程是否符合規定。學校內的排除受測學生的條件主要有三項: (1)學習遲緩的學生﹒此類學生意指經由校長或其它合格的教職員工的"專業"意見認定為學習遲緩的學生，或者是經由心理醫師認定為學習遲緩的學生。此類學生包括了情緒性或心智上不能照著即使最一般的測驗說明去做的學生。學業成績不良或管教上有問題的學生不可以此原因將之排除在外。 (2) 肢體殘障學生:此類學生意指為永久性的身體殘障，導致無法參加 TIMSS-R 測驗。但肢體雖然殘障，一 19 一

(7)

科學教育月刊第 235 期中發試圖八十九年十二月可拉回答溺驗問題發仍須按包含在樹驗之!呵。 (3) 母語有困難者;學生實質上無法讀或說本測驗的語言，而且在考試狀態下無法克服語言障礙。尤其是學習本觀驗所使用的語言的時問未通一年者， -其他的狀況者均應被告會於本溜驗之中。我認在校;有插樣結果後，時時調至是學生受潛名單與排除受濟學生名單，結果需接受實觀調查的 5889 位學生中辛苦 37 倍可以排除受測，表一我國 τIMSS-R 受漁j 學生名單中之各類排徐受科學生的人數統計

;揖除盟黨 i 學習遲緩的學生

l

肢體殘揮學生

l

母語有聽難者

(

總計

人數

13

6

18

37

誌語j 感謝國科會補助 TIM 侃 -R 調查研究路費 (NSC 87-2511 咽 S-003-的 g 和 NSC 斜-2511-S O的心 07 )、 IEA r可意使用測驗的相關黨料、所有受棋學授的配合與協助;問時啦憨謝屆交鑫灣師範大學理學院各系教授們與科舉教育中心全體同仁協助 TIMSS-R 謂瓷工作，使調查訐鑫順手告完成。

參考資科

L 魏明 i蓮、許榮富、搶青揖( 1988) 聽螺科學學習成就請主義研究報告(宮內報告)。臨立叢灣師範大學科舉教育中心。