• 沒有找到結果。

RaschGSP IRT 軟體實例

第四章 軟體系統應用實例

第三節 RaschGSP IRT 軟體實例

依據解釋評量結果的參照點性質,評量分為常模參照評量與效標參照評量,

測試結果顯示,RaschGSP IRT 軟體適用於此二種評量。

一、常模參照評量

首先 ,將 班 受試 者 或測 驗卷 數 據,經 RaschGSP IRT 軟體 處 理, 可得 RaschGSP IRT 曲線,該曲線提供兩個特徵值,分別是特徵值與鑑別度。其次,

RaschGSP IRT 方法利用灰關聯分析望大法,計算結果分為兩部分。對學生而言,

對應學生能力特徵值的灰關聯分析數值為學生分隔點(分隔點等於( )/2, 在二參數 RaschGSP IRT 模型分隔點正好落在 0.5)。灰關聯分析數值小於學生 分隔點的學生具有較低的成就,相反的,灰關聯分析數值大於學生分隔點的學 生則有較高的成就。對學生而言,對應試題難度特徵值的灰關聯分析數值為試 題分隔點。灰關聯分析數值小於試題分隔點的試題具有較高的難度,灰關聯分 析數值大於試題分隔點的試題則有較低的難度。

85

常模參照評量的範例採用某校 A 班 33 名高中學生在 25 道試題的作答反應。

A 班原始資料如表 4-3,該筆資料 Cronbach's 係數為 0.8644,透過 RaschGSP IRT 軟體的處理,得出 LGRG 分佈如圖 4-10 與 RaschGSP IRT 圖如圖 4-11。

表 4-3

RaschGSP IRT 軟體實例的 A 班測試資料

S\P P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 S101 1 1 0 1 1 0 1 0 1 1 1 0 1 0 0 1 0 1 0 1 0 1 0 1 0 S102 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 S103 1 1 1 1 0 1 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 0 0 0 S104 0 0 0 0 0 0 0 0 0 1 1 0 1 0 0 0 0 0 0 0 1 0 0 0 0 S105 1 0 1 0 0 1 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 1 0 0 1 S106 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 S107 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 S108 1 1 1 0 0 0 1 0 0 1 1 0 0 0 0 0 0 1 1 1 0 0 0 1 0 S109 1 1 1 0 0 1 1 0 1 1 1 0 1 1 0 1 1 0 0 0 0 1 0 1 0 S110 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 0 1 1 1 0 S111 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 1 0 0 0 0 1 0 0 0 S112 0 0 0 1 0 1 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 0 0 1 1 S113 0 1 1 1 0 1 1 0 0 0 1 0 1 0 0 0 1 1 0 0 0 0 0 1 1 S114 1 1 0 0 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 S115 1 0 0 0 0 0 1 1 1 1 1 0 1 1 0 0 0 0 1 0 0 0 1 1 0 S116 0 1 0 0 1 1 1 0 1 1 1 1 1 0 0 1 1 1 0 0 1 1 1 1 1 S117 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 0 1 0 1 1 0 1 S118 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 S119 0 0 0 0 1 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 1 0 0 S120 1 1 0 0 0 0 1 0 0 1 1 0 1 1 0 1 0 1 1 1 1 1 0 1 0 S121 1 0 0 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 0 1 1 S122 1 1 0 1 0 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 0 1 0 1 0 S123 0 1 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 1 1 0 S124 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 S125 1 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 1 1 1 1 0 0 S126 0 0 0 0 0 1 0 0 1 0 1 0 1 0 0 0 0 0 1 1 0 1 0 1 0 S127 1 1 0 1 0 1 1 0 1 0 0 1 1 0 1 0 0 1 1 1 0 1 0 0 1 S128 1 0 0 1 0 0 0 0 1 1 1 1 0 0 0 0 0 0 1 0 0 1 1 1 1 S129 1 1 0 1 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 0 1 0 0 1 S130 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 S131 1 1 1 0 0 1 0 0 0 0 1 1 1 0 0 0 1 0 1 0 1 1 1 1 0 S132 0 1 0 0 0 1 0 0 0 1 1 1 1 1 0 0 1 1 1 0 0 0 1 0 0 S133 1 1 0 1 0 1 1 0 1 1 1 1 1 1 0 1 0 0 1 0 1 1 1 0 0

86

圖 4-10 A 班常模參照評量 LGRG-S 值分佈與 LGRG-P 值分佈

圖 4-11 A 班常模參照評量 RaschGSP IRT 圖

87

經 RaschGSP IRT 軟體處理,計算結果如表 4-4。表 4-4 顯示:在 A 班,低 成績組學生佔 50.3%,高成績組學生佔 49.7%。在這份測驗卷,較難試題佔 51.1%,相對而言容易試題佔 48.9%。

表 4-4

A 班常模參照評量特徵值

曲線類別\特徵值 特徵值 鑑別度

學生的 RaschGSP IRT 曲線 50.3% 1.04 試題的 RaschGSP IRT 曲線 51.1% 1.18

二、效標參照評量

在常模參照評量中,RaschGSP IRT 方法處理如下:

(1) 若為計算受試者灰關聯分析數值,比較數列是每位受試者反應組型、

參考數列則是每道試題最高分數的集合。

(2) 若為計算試題灰關聯分析數值,比較數列是每道試題反應組型、參考 數列則是每位受試者最高分數的集合。

依據上述原則計算灰關聯分析數值,得出結果只能評價受試者在該班中位 置,而不可將不同班級受試者進行比較,亦即這方式無以確認兩班間程度差異。

在效標參照評量中,RaschGSP IRT 方法處理如下:

(1)不同班級受試者成績,甚而進行多班級間成績比較,比較數列集合將輔 以兩個數列,其一是最理想數列,其二是最反理想數列,其中,最理想數列被 視為是參考數列。

(2) 今為比較 A 班與 B 班成績狀況,首先,以同一份測驗卷對兩班進行施 測,其次,運用 RaschGSP IRT 方法處理A 班測試結果在表 4-3,B 班測試結果 在表 4-5,B 班 Cronbach's 係數為 0.7797

(3) RaschGSP IRT 軟體提供每班 LGRG 數值分佈如圖 4-12 與圖 4-13。A 班與 B 班效標參照評量 RaschGSP IRT 圖分別是圖 4-14 與圖 4-15,兩班特徵值 見表 4-6。

88

表 4-5

RaschGSP IRT 軟體實例的 B 班測試資料

S\P P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 S201 1 1 0 1 0 0 1 0 1 0 1 0 1 1 0 1 0 1 1 1 0 1 0 0 0 S202 1 1 0 1 1 0 1 0 0 1 1 0 1 0 1 1 1 1 0 1 1 0 0 0 1 S203 1 1 1 1 1 1 0 1 1 0 1 0 1 0 0 1 0 1 0 0 0 1 0 1 0 S204 1 1 1 1 0 0 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 0 0 S205 1 1 0 0 0 1 1 1 0 1 0 1 1 1 0 1 0 0 1 1 0 0 0 0 0 S206 1 1 0 1 0 1 0 1 0 0 1 0 1 0 0 1 1 1 1 1 1 1 0 0 1 S207 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 S208 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 1 0 0 1 0 0 0 0 0 S209 1 1 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 S210 1 1 0 1 1 1 0 1 1 0 1 1 1 1 0 1 1 1 1 1 0 1 0 0 1 S211 1 1 0 0 0 0 1 1 0 1 1 1 0 0 0 0 1 1 1 0 0 0 0 1 0 S212 0 1 0 0 0 1 0 0 0 1 1 0 1 1 0 0 0 0 1 0 0 0 0 0 0 S213 1 1 1 0 0 1 0 1 0 1 1 1 1 0 0 0 1 1 0 0 0 1 0 1 1 S214 1 1 0 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 1 1 1 1 S215 1 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 S216 0 1 0 0 1 0 1 1 0 1 1 0 1 0 0 0 1 1 0 0 0 0 1 1 0 S217 1 1 0 1 1 1 1 0 1 1 1 0 1 1 1 1 0 1 1 1 1 1 0 0 0 S218 1 1 1 1 1 1 1 0 1 0 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 S219 1 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 S220 1 1 0 0 0 1 1 1 0 1 1 1 1 1 0 0 1 0 1 0 0 1 0 1 0 S221 1 1 0 1 0 1 1 1 0 1 1 1 1 0 0 0 1 0 0 1 0 0 0 0 0 S222 1 1 0 0 0 0 1 1 0 1 1 0 1 1 0 1 1 0 1 0 1 1 0 1 0 S223 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 1 1 0 0 0 0 S224 0 1 0 1 0 1 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 0 0 1 S225 1 1 0 0 0 1 0 0 0 1 1 0 1 1 0 0 0 0 0 1 0 0 1 0 0 S226 1 1 0 1 0 0 1 0 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 S227 0 0 0 0 1 1 0 1 0 0 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 S228 1 1 0 1 0 0 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 0 0 1 0 S229 0 1 0 0 0 1 1 0 0 1 1 0 1 1 0 0 1 1 0 1 0 0 1 1 0 S230 1 1 0 1 0 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 0 1 0 S231 1 1 1 0 0 0 0 0 0 1 1 1 1 0 1 1 0 1 1 1 0 0 1 0 0

89

圖 4-12 A 班效標參照評量 LGRG-S 值分佈與 LGRG-P 值分佈

圖 4-13 B 班效標參照評量 LGRG-S 值分佈與 LGRG-P 值分佈

90

圖 4-14 A 班效標參照評量 RaschGSP IRT 圖

圖 4-15 B 班效標參照評量 RaschGSP IRT 圖 表 4-6

A 班與 B 班效標參照評量特徵值

曲線類別\班 班 A 班 B

特徵值 鑑別度 特徵值 鑑別度

學生的 RaschGSP IRT 曲線 50.3% 0.87 44.7% 0.69 試題的 RaschGSP IRT 曲線 51.1% 0.68 54.8% 0.71

91

綜合上述,依據 RaschGSP IRT 理論,歸納如下:

(1) 灰關聯分析數值小於學生分隔點的受試者具有較低的成就,灰關聯分 析數值大於學生分隔點的受試者則有較高的成就。

(2) 學生能力特徵值就是兩組受試者分隔點;其次,對班級整體而言,學 生能力特徵值愈低,全班的成績愈好。依據表 4-6 數據顯示: B 班S 44.7% 與 A 班S 50.3%,就這份考卷測試結果而言, B 班成績較 A 班表現好。

(3) 學生鑑別度,一則表示學生高分組與學生低分組間離散程度,二則表 達測驗卷對施測班級的鑑別能力。若學生鑑別度愈高,測驗卷鑑別能力則愈高。

依據表 4-6 數據顯示:該測驗卷對 A 班(學生鑑別度等於 0.87)鑑別能力高於 對 B 班(學生鑑別度等於 0.69)鑑別能力。

(4) 對試題而言,灰關聯分析數值小於試題分隔點的試題是較難試題,灰 關聯分析數值大於試題分隔點的試題相對而言是容易試題。試題難度特徵值就 是兩組試題的分隔點,試題難度特徵值愈小,表示難題數量少。試題鑑別度表 示試題難度的離散程度,若試題鑑別度愈高,表示試題難度離散程度相對較高。

依據表 4-6 顯示:B 班試題難度離散程度相對比較集中(試題鑑別度等於 0.71),

A 班則否,其試題難度離散程相對比較分散(試題鑑別度等於 0.69)。

相關文件