第四章 閱讀理解測驗結果分析
第二節 以 Rasch 模式進行閱讀理解認知階層性之分析.45
本節將透過 Rasch 模式所提供的 Wright Map 及試題難度來了解閱讀理解認 知階層之分配情形,以作為後續診斷的依據。
壹、閱讀理解試題難度之分配
圖 4-3 為受試者能力與試題難度之 Wright Map、表 4-6 為不同分類試題難度 平均與差異考驗、表 4-7 為試題難度及受試者能力之描述性統計。在圖 4-3 的 Wright Map 中最左邊「位置」標示量尺 logit 值(-5.0~+5.0)、圓點標示受試者能力 分配、右邊為各文本試題之難度分配;量尺越靠近上方表示受試者能力越高或試 題難度越高,越靠下方表示受試者能力越低或試題難度越低。當受試者能力與試 題難度相同的時候,受試者有 50%的機會答對該題,當受試者能力不及試題難度 時,受試者答對該題的機會不到 50%,同樣的,當受試者能力高過試題難度時,
受試者有 50%以上的機會答對該題(試題編碼詳見圖 4-3 註解)。
將試題分類成「文本類型」、「文本」及「試題類型」等三種來看試題難度(見 表 4-6)。就「文本類型」而言,文學文本與訊息文本的試題難度分佈略有些微差 距(前者為-2.66~2.17;後者為-1.0~3.24),訊息文本平均難度(M=.88、sd=1.39)高 於文學文本(M=-.40、sd=1.44),兩者平均難度達顯著差異(t(28)=14.99,p =.00),
訊息文本的難度顯著高於文學文本,和 Caldwell(2002)所提說明文文本的理解比 敘述性文本的理解更困難。五個文本中「漏米岩」的平均難度最低(M=-1.22)、「巧 克力最早是『苦水』飲料?」難度最高(M=1.09),五個題本的平均難度皆未達顯 著差異(F(4,24)=2.34,p =.08)。
從不同試題題型來看,建構反應題的難度(M=1.89、sd=.84)顯著高於選擇題 的難度(M=-.72、sd=1.03)( t(28)=15.11,p =.00),前者主要測中、高能力的學童,
後者主要測中、低能力的學童;能力達建構反應題的平均難度(1.89)的受試者,
答題勝算率是能力僅達選擇題平均難度(-.72)受試者的 13.52 倍 (e(1.89−(−.72))=13.52)。
綜合言之,全部測驗的試題難度介在-2.66~3.24 之間,全距為 5.90 (M=0.00、
sd=1.53),受試者能力介在-4.45~4.68 之間,全距為 9.13(M=0.05、sd=1.18),受 試者平均能力(0.05)略高於試題平均難度(0.00)(表 4-7)。Wright Map 顯示不同能 力的受試者皆有相對應難度的試題,可測其能力。
表 4-6 不同分類試題之平均難度與差異考驗
試題分類 題數 平均難度 標準差 最小值 最大值 難度差異考驗
文本類型
1.文學 20 -.40 1.44 -2.66 2.17 t(28)=14.99 2.訊息 9 .88 1.39 -1.0 3.24 p =.00
文本
A.漏米岩 7 -1.22 1.29 -2.66 .80 B.自立 6 -.14 1.26 -1.30 1.97 C.記憶的項鍊 7 .20 1.53 -2.59 2.17
D.巧克力最早是『苦水』飲料? 5 1.09 1.79 -1.00 3.24 F(4,24)=2.34 E.地球發燒了 4 .64 .87 .04 1.91 p =.084
試題類型
1.選擇題 21 -.72 1.03 -2.66 .60 t(28)=15.11 2.建構反應題 8 1.89 .84 .80 3.24 p =.00
表 4-7 試題難度及受試者能力
平均值 標準差 全距
難度 0.00 1.53 5.90(-2.66~3.24) 能力 0.05 1.18 9.13(-4.45~-4.68)
--- LOCATION PERSONS ITEMS [uncentralised thresholds]
位置 受試者 試題
貳、不同閱讀理解認知層次難度之分配
表 4-8 為不同閱讀理解認知層次之題數、平均數、標準差、最大值及最小值,
表 4-9 為不同閱讀理解認知層次平均難度的單因子變異數分析結果,表 4-10 為 不同閱讀理解認知層次難度之 Scheffé 事後比較。表 4-8 可以發現閱讀理解認知 層次的平均難度不同,尋找與回憶的 logit 為-1.06,整合和詮釋的 logit 值為-0.03,
批判與評鑑的 logit 值為 1.82,表 4-9 不同閱讀理解認知層次的單因子變異數分 析摘要表的結果顯示,不同閱讀理解認知層次的難度有顯著差異(F(2,26)=11.79,p
<.001),Scheffé 事後比較發現「批判與評鑑」的難度 (M=1.82)顯著高於「整合 和詮釋」(M=-.03)與「尋找和回憶」的難度(M=-1.06),但「尋找和回憶」以及「整 合和詮釋」的試題難度無明顯差異。由不同閱讀理解認知層次平均難度圖(圖 4-4) 可以看出試題難度隨著認知層次的增加而上升。從答對試題機率來看,能力達到
「批判與評鑑」平均難度的學童答對「尋找和回憶」及「整合和詮釋」平均難度 試題的機率分別為.95 及.86,能力達到「整合和詮釋」平均難度的學童答對「尋 找和回憶」平均難度試題的機率為.73。
表 4-8 不同閱讀理解認知層次之試題難度
層次分類 題數 平均難度 標準差 最小值 最大值 尋找與回憶 10 -1.06 1.22 -2.66 .35 整合和詮釋 13 -.03 1.18 -1.75 2.65 批判與評鑑 6 1.82 .92 .80 3.24
表 4-9 不同閱讀理解認知層次難度之單因子變異數分析摘要表
組別 平方和 自由度 平均平方和 F 值 認知層次 31.06 2 15.53 11.79***
誤差 34.26 26 1.32 總和 65.32 28
*** p <.001
表 4-10 不同閱讀理解認知層次難度之 Scheffé 事後比較及答題機率
試題層次 (I) 試題層次 (J) 平均差異 (I-J)
顯著性 (I-J)
答對試題機率1 (I-J) 批判與評鑑 尋找與回憶 2.88 .00 .95
整合和詮釋 1.84 .01 .86 整合和詮釋 尋找與回憶 1.03 .12 .73 註:1 能力達到 I 層次平均難度之學童答對 J 層次平均難度試題之機率。
試題層次:尋找與回憶 整合和解釋 批判與評鑑
圖 4-4 不同閱讀理解認知層次平均難度圖
除了檢視不同閱讀理解認知層次的平均難度外,以下亦從 Wright Map 了解 不同認知層次試題的分布情形(圖 4-5)。
從圖 4-5「受試者能力與不同認知層次試題難度 Wright Map」可以看出不同 文本的試題難度分配位置,以訊息文本(題本 D 及題本 E)的試題難度較高,因試 題在圖 4-5 的分佈較為上方,文學文本(題本 A、題本 B 及題本 C)的試題相對而 言落在圖 4-5 下方較多,相較之下,訊息文本的試題難度高於文學文本的試題。
從表 4-6 也可知訊息文本試題的平均難度 0.88 高過文學文本試題平均難度-0.40 約 1.28 個 logits。
從圖 4-5 各文本試題難度分配可得知,不分文本,大部分試題的認知層次從 低到高的排序皆為「尋找與回憶」、「整合和詮釋」及「批判與評鑑」,僅 A02L1 及 A05L2、E03L1 及 E04L2 等四題雖是不同認知層次但難度位置接近;以「尋 找與回憶」、「整合和詮釋」兩個認知層次而言,有部分試題重疊(如 E03L1 及 E04L2;D04L1 及 C01L2;D02L1 及 B04L2;A02L1 及 A05L2),但是,將「整 和與詮釋」的試題難度位置和「尋找與回憶」的試題難度位置分佈做比較,前者 在圖 4-5 較為上方,表示兩不同認知層次仍有難度差異;當達到「批判與評鑑」
的平均難度時(1.82),其能力高過所有「尋找與回憶」的試題難度,也幾乎高過 所有「整合和解釋」的試題難度(惟 D07L2 建構反應題例外),也就是說「批判與 評鑑」的試題難度高於「尋找與回憶」、「整合和詮釋」等二個認知層次;因此,
大致上來說,三個閱讀理解認知層次的試題是有排序關係的。
--- LOCATION PERSONS ITEMS [uncentralised thresholds]
位置 受試者 試題
肆、小結
本節在變異數分析的結果裡顯示閱讀理解認知層次中「批判與評鑑」難度 最高,且顯著高於「尋找與回憶」、「整合和詮釋」等層次,在 Wright Map 及不 同閱讀理解認知層平均難度圖中可以發現三個認知層次整體上呈順序排列,可以 看出試題具有階層性;此外,利用 Rasch 模式檢視了試題難度分配與受試者能力 位置,就文本類型、試題類型而言,不同能力的受試者有相對應難度的試題。依 上所述,閱讀理解試題的認知階層性將納入後續診斷分析中,以呈現受試者的閱 讀理解表現情形。
第三節 屏東縣四至六年級學童閱讀理解分析
為瞭解屏東縣學童閱讀理解表現情形,本節對全體學生、不同學校規模、不 同年級與性別、在不同年級下不同規模的學校進行閱讀理解層次分析(在學校規 模、年級、性別等變項亦包含差異性考驗),統計受試學生在閱讀理解三個認知 層次的個別比例(分別是「尋找與回憶」、「整合和詮釋」及「批判與評鑑」),以 及在不同答對機率下,各認知層次累積人數百分比,將有.50 的機率答對平均難 度試題列為「ㄧ般」水準,有.80 的機率答對平均難度試題列為「精熟」水準,
若有.80 的機率答對該層次最難試題則列為「嚴格」水準,以三種水準對測驗結 果做進一步的探討。
壹、全體學生之閱讀理解分析
全體受試者的能力平均數(logit 值)為 0.05,標準差為 1.16(見表 4-7), 從表 4-11 全體學生閱讀理解層次次數分配表可以發現,就全體學生的 logit 平均數表 現而言,logit 平均數在-0.025~1.819 之間的學生比例最多,表示達到閱讀理解認 知層次「整合和詮釋」試題平均難度到「批判與評鑑」試題平均難度之間的學生 占了 44.7%,接近一半,也就是說,這些學生閱讀理解能力介於「批判與評鑑」
及「整合和詮釋」兩層次的平均值之間,從圖 4-6 也可以發現,這兩個層次之間 的直方圖最高;而高過「整合和詮釋」試題平均難度的學童有 50.8%,顯示有一 半的學生 logit 值達到該層次的平均難度,也就是說,他們至少有 50%的機會能 答對該層次平均難度的試題;整體而言,超過八成的受試者能力達到「尋找與回 憶」的平均難度,但達到「批判與評鑑」的平均難度僅有 6.1%而已。
表 4-11 全體學生閱讀理解層次次數分配表
能力(logit 值) 次數 百分比 高過下限人數百分比 4.「批判與評鑑」試題平均以上 (1.819 以上) 109 6.1 6.1
高過「批判和評鑑」平均 3.介於「批判與評鑑」至「整合和詮釋」試題平均
之間 (-0.025~1.8189) 801 44.7 50.8
高過「整合和詮釋」平均 2.介於「整合和詮釋」至「尋找與回憶」試題平均
之間 (-1.059~-0.0251) 582 32.5 83.3
高過「尋找和回憶」平均 1.低於「尋找與回憶」試題平均 (-1.0591 以下) 294 16.4 --
總和 1786 99.7
註:遺漏值已被排除在外
利用 Rasch 模式能求得答題機率的特性,將每個認知層次都區分為三種答題 機率,分別是,有.50 機率答對該認知層次平均難度試題(即:能力和試題平均難 度相同,
β
= ,δ
p=e(β−δ)(
1+e(β−δ))
=e0(
1+e0)
=.50)、有.80 機率答對該認知層 次平均難度試題(能力至少要高過平均難度 1.5 個 logits,β
−δ
≥1.5,(
1 1.5)
.825 .
1 + =
=e e
p )、及有.80 以上機率答對該認知層次中難度最高試題(能力 要高過最難試題 1.5 個 logits,公式同上述)。表 4-12 為全體學生在各不同認知層 次人數比例(累積百分比)。以「尋找與回憶」認知層次而言,具.50 以上機率答 對此層次平均難度試題的學童佔了 83.3%,有.80 以上機率(屬精熟)答對此層 次平均難度試題的學童佔 38.9%,而有.80 以上機率答對此層次最難試題(屬嚴格) 的學童僅剩下 6.1%。以「整合和詮釋」認知層次而言,具.50 及.80 機率答對此 層次平均難度試題的學童分別佔 50.8%、11.5%,但無學童具.80 以上機率答對此 層次最難試題。以「批判與評鑑」而言,具.50 及.80 機率答對此層次平均難度試 題的學童分別僅佔 6.1%、0.02%。整體而言,以答對該層次平均難度試題機率大 過.80 為「精熟」水準,則能精熟掌握「尋找與回憶」、「整合和詮釋」及「批判 與評鑑」三層次的學童比例分別為 38.9%、11.5%、0.02%。
圖 4-6 全體學生 logit 數值之次數分配直方圖
註:圖中垂直線從左至右分別為
尋找與回憶、整合和詮釋、批判與評鑑層次的平均值
表 4-12 全體學生答對不同認知層次人數比例 (累積百分比)
答對該層次最難試題機 率高過 >= .80
答對該層次最平均難度試題 機率高過 >= .80
答對該層次平均難度試題
答對該層次平均難度試題