Rasch模式建置「國小四、五年級閱讀理解測驗」簡版

(1)

(2)

Development of a Shortened Reading

Comprehension Test Using the Rasch

Model

Chang, Lily

Abstract

Although recent research in reading comprehension has focused on the processes of reading, only a few such reading comprehension tests are available for primary school children in Taiwan. Of the few available tests, the length of the test further limits the extent to which they actually applied in school settings. Therefore, the present study aims to shorten and validate a reading comprehension test developed, based on the NAEP reading assessment framework for 4th and 5th grade students using the Rasch partial credit model. Two data sets, collected separately by Hwang (2010) and Chang, Chen, Lo, and Lu (2011), consisting of a total sample of 1,191 4th and 5th graders from Kaohsiung and Pingtung areas in Taiwan, were used to develop and evaluate the psychometric properties of the shortened reading comprehension test. The adequacy of the shortened test was assessed with respect to the content coverage of the test (including two types of reading passages and three levels of cognitive processes), item spread and item-person alignment, the dimensionality of the test (including rating scale performance, item fit to the model, item calibration invariance [DIF] across gender, grade and school size), the invariance of ability estimates across forms, and person separation reliability. The results indicate that the shortened version, with a reduction of 41% of the items and half of the administration time, achieves similar or even higher quality of the psychometric properties as compared with that of the original version. Discussions on test reduction using the Rasch model, suggestions for further studies, and applications of the reading comprehension test are also provided.

Key Words: reading comprehension test, test reduction, Rasch model

(3)

壹、緒論

閱讀是學生學習各學科的重要基礎，更是形塑個體終身發展軌跡、經濟福祉、主動及積極參與社會的關鍵能力（ Wagemaker, 2011 ）。有鑑於閱讀的重要性，教育部近年來積極推動各項閱讀教育，譬如： 2004 年「焦點三百 --國小兒童閱讀計畫」、2006 年｢國中小閱讀推廣計畫｣、 2008 年「悅讀 101-教育部國民中小學閱讀提升計畫」等（教育部，2009）。提升閱讀理解可說是各項閱讀教育改革的重要目標之一。閱讀的定義及閱讀教學強調培養的能力，隨著閱讀理論及研究的蓬勃發展，在不斷演進中。從早期強調對文本的思考與推理（如： Thorndike 認為閱讀即推理），到後期受認知心理學基模理論及後設認知理論的影響，閱讀者的角色開始重於文本，讀者被視為建構者與修正者（ reader as builder and fixer ），再至後基模理論時代（ moving beyond schema theory）的｢心智模式｣（ mental model ），除重視建構篇章意義外，更強調先備知識與文本互動的情境與動態歷程（ Pearson,

2009）。閱讀理解因此被視為一個涉及作者意圖、文本內容、讀者能力、

(4)

評量架構中不同的認知層次。PISA 界定「擷取與檢索」、「統整與解釋」

和「省思與評鑑」三個層次（ OECD, 2010）；PIRLS 界定「直接提取」、

「直接推論」、「詮釋、整合觀點與訊息」和「檢驗、評估內容、語言和文章的元素」四個層次（ Mullis, Martin, Kennedy, Trong, & Sainsbury,

2009），前兩層次屬直接理解歷程、後兩層次屬解釋理解歷程（柯華葳、詹益綾、張建妤、游婷雅， 2008）； NAEP 則界定「尋找和回憶」、「整合和解釋」和「批判和評鑑」三個層次（ NAGB, 2008）。國內目前依據上述閱讀認知歷程，專門針對一般學童之文本閱讀理解，而非採短文診斷或篩選理解困難學童而編製的測驗並不多（如：林怡君、張麗麗、陸怡琮， 2013；黃琬玲， 2010；董宜俐， 2003 等）。然為顧及測驗涵蓋的廣度及精確性，這些測驗的文本數及題數都不會太少、施測時間多超過一節課 40 分鐘，譬如：董宜俐｢國小學童閱讀理解測驗」（ 2003）共六篇文本 40 題，作答時間 60 分鐘；黃琬玲「國小四、五年級閱讀理解測驗」（ 2010）共五篇文本 41 題，作答時間 80 分鐘；林怡君等｢國小高年級閱讀理解測驗」（ 2013）含五篇文本 39 題，作答時間 80 分鐘。因測驗作答時間長，限制了測驗使用的方便性，進而降低了教學及實務研究者的選擇及應用。許多研究者因而自行從全測驗中選取部份文本來縮減測驗。然而，使用未經嚴謹信效度考驗的｢簡化測驗｣將影響測量結果的穩定性，以及推論學童閱讀理解能力、根據推論做出後續各項教與學決定及行動的正確性與適切性。

目前國內閱讀理解測驗普遍以古典測驗理論（ classical test theory,

簡稱 CTT ）編製。在此架構下，測驗的｢廣度 - 精確度｣

(5)

度呢？電腦適性測驗（ CAT）是目前可以達到此目標的方法（ Embretson

& Reise, 2000 ），但因需建立題庫，並不適用在所有測驗實務上。Rasch

模式，基於其具備｢客觀測量｣的特性，當數據與模式契合時，研究者可以將試題與受試者置於同一向度上，選擇分布廣泛（可測得不同能

力），且與受試者能力接近（當試題與受試者位置相同時，試題訊息量

(6)

(7)

(8)

(9)

(10)

三、 Rasch 部份給分模式

因測驗包含二元及多元計分試題，故採 Rasch 部份給分模式（ partial credit model ， PCM）（ Master, 1982）：

xni  為受試者 n 在試題i達到等級 x 的機率，n為受試者能力、ij為試題i第 j個閾值的難度（閾值為相臨兩等級機率相等之值，又稱「階」[step]）。 i m x0,1,..., （等級數為 m1）、k 1,2,...,mi（閾值數相當於等級數減 1），







   0 0 0 j n ij 。

(11)

簡版與原版在難度、向度性、能力估計恆定性及信度等各項心理計量特性上的差異，來評估簡版測驗之適切性。

（一）難度

以 Wright 地圖比較兩版本試題的分布，以及試題難度與受試者能力的對應情形；透過試題等化，來比較兩版本的難度；計算試題難度的相關，來了解試題在兩版本中相對位置的穩定性；最後，比較不同性質文本及認知層次試題的難度在兩版本中是否相近。

（二）向度性

從多元計分等級量表的適切性、試題及測驗契合度，以及試題所測構念跨群體的恆定性（ DIF）等檢視測驗的向度性。在等級計分量表方面，以閾值的次序性及間距（適切間距應介於 1.4 ~ 5.0 logits，Linacre, 2004 ）檢核及比較兩版本等級量表之適切性。在試題及測驗契合度方面。以 outfit MNSQ 及 infit MNSQ 檢視個別試題契合度，以殘差主成份分析的第一個特徵值檢核整體測驗契合度。其中， MNSQ 值介於 0 至無限大，期望值為 1，大於 1 表示試題不契合單向度模式、小於 1 表示數據與模式過度契合，二元及多元計分試題的合理範圍分別為 0.70 ~ 1.30、0.60 ~ 1.40（ Wright & Linacre,

1994）。當數據契合 Rasch 模式時，殘差應隨機且獨立，若 Rasch 因素被解釋後，我們仍可從殘差中抽取出因素，就表示所測構念可能不只一個。研究者先根據 Rasch 理論模式產生 10 組模擬數據，再求得各組數據的第一個特徵值及 10 個特徵值的平均值，之後，比較根據實徵數據及模擬數據得到特徵值的差異，若差異不大，則表示測驗未違背單向度。在 DIF 檢定方面，試題所測構念不應因群體不同而有差異，意即具相同能力但來自不同次群體之受試者，其答對試題的機率應無不同

（ Holland & Thayer, 1988 ），否則測驗分數將無法置於同一量尺上相互

(12)

殘差雙因子變異數分析中，「能力組別」及「 DIF 變項」為主要因子，當「 DIF 變項」達顯著但「能力組別 × DIF 變項」交互作用未達顯著時， DIF 為齊一性（ uniform DIF ），當「能力組別 × DIF 變項」達顯著時， DIF 為非齊一性（ non-uniform DIF ）（ Andrich, Sheridan, & Luo, 2007 ）

（因每題進行兩個考驗，故每個考驗的第一類錯誤率控制在 α =

(13)

R asc h 模建置「國小四、五年級閱讀理解測驗」簡版 圖一原版及簡版 Wright 地圖 註：題目編碼 1-3 碼為文本及編號、4-5 碼為認知層次，題號後註明 C 者為建構反應題，題號句點後數字標示第 k 個閾值。舉例說明：A08L3C.2 為文本 A 第 8 題、認知層次 3、建構反應題(C)第二個閾值(.2)。文本 A：琪琪的「實話」運動、B：漏米岩、C：自立、D：黑面琵鷺、E：肥胖—現代學童的流行病。

位置（logits）受試者試題 [uncentralised thresholds]

文學文本 A 文學文本 B 文學文本 C 訊息文本 D 訊息文本 E 琪琪的「實話｣漏米岩自立黑面琵鷺肥胖—現代學童 運動（文學）（文學） (文學) （訊息）的流行病（訊息） 4.0 A08L3C.2 D12L2C.2 C06L3C.2 oo 3.0 o D06L2 E09L2 oooooo 2.0 o B07L3C E07L2C.2 o oooooooooooo C06L3C.1 D03L2 D12L2C.1 o C05L3C ooo 1.0 oooooooooooooo E08L2C ooo D05L2 E07L2C.1 ooo

ooooooooooooooooooo A06L2 D09L2 E06L3 E05L2 oooo A08L3C.1 D04L2 D07L2

0.0 ooooooooooooooooooo D11L2 D08L1 ooooooooo B04L2 D10L1

ooooo A07L3C B06L2 E03L3 oooooooooooooooooo

oooo A02L2 C01L2 C04L2 E01L2 -1.0 oooooooooooooooo C03L2

oooo A05L2 A04L1 D02L1 E02L1 ooooooooooooo C02L2 E04L1 ooooooooo A03L1 B05L2 ooooooooo B02L1 -2.0 ooo ooooooo o B03L1 oo B01L1 -3.0 A01L1 o o -4.0 o = 10 Persons ---

位置（logits）受試者試題 [uncentralised thresholds]

(14)

(15)

(16)

(17)

在整體契合度方面，殘差主成份分析的結果顯示，兩版本第一個主成份最大特徵值皆為 1.8； 10 組模擬數據之第一個主成份特徵值的平均值，簡版及原版分別為 1.32 及 1.42。此結果顯示，觀察數據及模擬數據得到之特徵值差異不大，整體測驗並未違背單向度。綜合上述，簡版在個別試題及整體測驗契合度上皆與原版接近，雖然兩版本均有少數題目 outfit MNSQ 契合度略超出範圍，但仍屬可接受範圍（因 outfit MNSQ 為非加權指標，極易受少數偏離模式期望的極端個別反應影響），表示測驗可由單一閱讀理解構念解釋。值得特別注意的是，建構反應題的契合度指標普遍較低，呈現 Guttman 型態，表示試題與 Rasch 模式過度契合，試題鑑別度高過模式的預期；換句話說，低能力學童的答題機率低過模式預期，而高能力學童的答題機率則高過模式的預期。表六原版與簡版之個別及整體試題契合度契合度指標原版 4 1 題簡版 2 4 題個別試題 I nfi t M N S Q 平均值 0.9 9 0.9 9 標準差 0.1 3 0.11 全距–選擇題全距–建構反應題 0.8 7 ~ 1 .15 0.7 1 ~ 0 .93 0.8 5 ~ 1 .13 0.7 7 ~ 0 .89 O ut fi t M N S Q 平均值 0.9 8 0.9 7 標準差 0.2 4 0.2 3 全距–選擇題全距–建構反應題 0.6 7 ~ 1 .35 0.6 0 ~ 0 .66 0.6 9 ~ 1 .38 0.5 8 ~ 0 .68 整體測驗殘差主成份分析之第一個特徵值觀察數據模擬數據（ 10 組）平均全距 1.8 1.4 2 1.4 ~ 1. 5 1.8 1.3 2 1.2 ~ 1. 4

( 三 ) D I F

1.殘差雙因子變異數 DIF 分析 DIF 分析結果如表七。殘差雙因子變異數分析的結果顯示原版有 7 題出現 DIF（ 2 題性別、 3 題年級、 2 題學校規模），分屬三個建構反

(18)

學校學童有利。

(19)

(20)

(21)

(22)

(23)

(24)

兩種文本各層次試題的比重。

二、後續研究之建議

研究發現一般契合度指標，如 infit 及 outfit MNSQ 對探查試題跨群體之恆定性並不敏感（ Smith, 1982; Smith & Suh, 2003），故目前 DIF 分析已廣被納入例行性的試題分析中，以確保試題所測構念不會因群體不同而產生差異。由於 DIF 是一個相對性的概念，檢測結果會

受到 DIF 操作性定義（即探查方法不同）、樣本數大小、DIF 嚴重程度、

(25)

(26)

參考文獻

林怡君、張麗麗、陸怡琮（ 2013）。Rasch 模式建置國小高年級閱讀理解 測驗。教育心理學報， 45（1），38-60。 林寶貴、錡寶香（ 2000）。中文閱讀理解測驗之編製。特殊教育研究學 刊， 19，79-104。 柯華葳、詹益綾、張建妤、游婷雅（ 2008）。台灣四年級學生閱讀素養 -PIRLS2006 報告。2009 年 2 月 25 日，取自 PIRLS2006 國際報告： http://lrn.ncu.edu.tw/pirls/PIRLS%202006 %20 Report.html 教育部（ 2009，10 月）。全方位的國民中小學閱讀推動政策。2009 年 10 月 8 日，取自教育部全球資訊網： http://www.edu.tw/PDA/ news.aspx?news_sn=2798&pages=16&unit_sn=15 黃琬玲（2010）。以 NAEP 架構建置國小四、五年級閱讀理解測驗（未 出版之碩士論文）。國立屏東教育大學，屏東市。張麗麗、陳品華、羅素貞、陸怡琮（ 2011）。國小學童識字與閱讀理解能力診斷之研究活動。屏東縣 100 學年度教育處精進教學計畫報告。董宜俐（2003）。國小六年級學童中文閱讀理解測驗編製研究（未出版之碩士論文）。國立台中教育大學，台中市。

Andrich, D., & Hagquist, C. (2004, Jan.). Detection of differential item functioning

using analysis of variance. Paper presented at the Second International

Conference on Measurement in Health, Education, Psychology and Marketing: Developments with Rasch Models. Perth, Australia: Murdoch University.

Andrich, D., & Hagquist, C. (2012). Real and artificial differential item functioning.

Journal of Educational and Behavioral Statistics, 37(3), 387-416.

Andrich, D., Sheridan, B., & Luo, G. (2007). RUMM2020. Perth, Australia: RUMM Laboratory.

Cheng, Y. Y., Wang, W. C., & Ho, Y. H. (2009). Multidimensional Rasch analysis of a psychological test with multiple subtests: A statistical solution for the bandwidth-fidelity dilemma. Educational and Psychological Measurement,

69(3), 369-388.

(27)

Mahwah, NJ: Erlbaum.

Engelhard, G. Jr. (1993). What is the attenuation paradox? Rasch Measurement

Transactions, 6(4), 257.

Ewing, M. T., Salzberger, T., & Sinkovics, R. R. (2005). An alternative approach to assessing cross-cultural measurement equivalence in advertising research.

Journal of Advertising, 34(1), 17-36.

Hayas, C. L., Quintana, J. M., Padierna, J. A., Bilbao, A., & Muñoz, P. (2010). Use of Rasch methodology to develop a short version of the health related quality of life for eating disorders questionnaire: A prospective study. Health and Quality

of Life Outcomes, 8. Retrieved from http://www.hqlo.com/ content/8/1/29

Hogan, J., & Roberts, B. W. (1996). Issues and non-issues in the fidelity-bandwidth trade-off. Journal of Organizational Behavior, 17, 627-637.

Holland, P. W., & Thayer, D. T. (1988). Differential item performance and the Mantel-Haenszel procedure. In H. Wainer & H. I. Braun (Eds.), Test validity (pp. 129-145). Hillsdale, NJ: Erlbaum.

Hsueh, I. P., Wang, W. C., Wang, C. H., Sheu, C. F., Lo, S. K., Lin, J. H., & Hsieh, C. L. (2006). A simplified stroke rehabilitation assessment of movement instrument.

Physical Therapy, 86 (7), 936-943.

Linacre, J. M. (2004). Optimizing rating scale category effectiveness. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch measurement: Theory, models and

applications (pp. 258-278). Maple Grove, Minnesota: JAM Press.

Linacre, J. M. (2005). A user’s guide to WINSTEPS: Rasch-model computer programs. Chicago, IL: Winsteps.com.

Master, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149-174.

Mullis, I. V. S., Martin, M. O., Kennedy, A. M., Trong, K. L., & Sainsbury, M. (2009). PIRLS 2011 assessment framework. Boston College: TIMSS & PIRLS International Study Center Lynch School of Education.

NAGB (National Assessment Governing Board). (2008). Reading assessment and

item specifications for the 2009 National Assessment of Educational Progress.

(28)

OECD (2010). PISA 2009 results: Learning to learn. Retrieved from OECD: http://www.oecd. org

Ones, D. S., & Viswesvaran, C. (1996). Bandwidth-fidelity dilemma in personality measurement for personnel selection. Journal of Organizational Behavior, 17, 609-626.

Paris, S. G., & Hamilton, E. E. (2009). The development of children’s reading comprehension. In S. E. Israel & G. G. Duffy (Eds.), Handbook of research on

reading comprehension (pp. 32-53). New York: Taylor & Francis.

Pearson, P. D. (2009). The roots of reading comprehension instruction. In S. E. Israel & G. G. Duffy (Eds.), Handbook of research on reading comprehension (pp. 3-31). New York: Taylor & Francis.

Rasch, G. (1980). Probabilistic models for some intelligence and attainment tests (revised and expanded ed.). Chicago, IL: University of Chicago Press. (Original work published 1960)

Singh, J. (2004). Tackling measurement problems with item response theory: Principles, characteristics, and assessment, with an illustrative example. Journal

of Business Research, 57, 284-208.

Smith, R. M. (1982). Detecting measurement disturbances within the Rasch model. Unpublished doctoral dissertation, University of Chicago.

Smith, R. M., & Suh, K. K. (2003). Rasch fit statistics as a test of the invariance of item parameter estimates. Journal of Applied Measurement, 4, 153-163.

Smith, E. V. (2005). Effect of item redundancy on Rasch item and person estimates.

Journal of Applied Measurement, 6(2), 147-163.

Tennant, A. (2007). DIF matters. Rasch Measurement Transactions, 20(4), 1082-1084.

Wagemaker, H. (2011). Forward. In I.V. S., Martin, M. O., Foy, P., & Drucker, K. T.

PIRLS 2011 international results in reading. Retrieved August 1, 2013 from

http://www.iea.nl/publications.html

Wang, W-C. (2008). Assessment of differential item functioning. Journal of Applied

Measurement, 9(4), 387-408.

Wright, B. D., & Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch

(29)

Wright, B. D., & Panchapakesan, N. (1969). A procedure for sample-free item analysis. Educational and Psychological Measurement, 29, 23-48.

(30)