• 沒有找到結果。

第四章 Rasch Model GSP 表的製作與分析

第五節 本章小結

依照本章前兩節內容,由 S-P 表結合局部灰關聯度分析法,可推估出 GSP 表,而結合 Rasch Mode l 的想法,可推估出 Rasch Model GSP 表,如表 4-4 所 示,其優點與討論如下:

優點一: 正規化、迴歸分析精準度分析

S-P 表由於設計上的限制,因此無法進行正規化處理與迴歸分析,但 GSP 表 與 Rasch Model GSP 表可進行正規化處理,因此可進行試題與學生之分析比較。

GSP 表與 Rasch Model GSP 表,透過迴歸可進行精準度分析,即可比對出試題 與測驗平均值,這是 S-P 表無法達成的,然而 Rasch Model GSP 表之精準度分 析式更加準確。

優點二: 樣本數限制

S-P 表適用在目前國中小,甚至是高中大學之小班級,人數介於三十至五十 人之班級,因此對於樣本數太大或是太小無法使用,但是 GSP 表與 Rasch Model GSP 表則無此問題,對於一般班級人數或是 IRT 所需之大樣本皆可計算,並進 行參數之推估。

討論一: 迴歸方式

目前已進行簡單線性迴歸,包含(linear、quadratic、cubic)等線性迴歸,與 非線性迴歸(spline),由於試題採用二元計分,目前是仿製 IRT 所使用之 logistic 迴歸,但並非 logistic 迴歸之誤差參數具有最佳的擬合效果,因此迴歸方式有待 討論。

第五章 Rasch Model GSP 表灰色結構模式之結合 分析探究

本章節透過三個範例來呈現 Rasch Model GSP 表與 GSM 圖的分析結果,

第一個範例是中部某研究所一年級的學生為受測者,針對「研究方法」課程的質 性研究單元進行作答反應,個別檢視 Rasch Model GSP 表與 GSM 結構圖進行 研究結果分析。第二個範例是以中部某國小三年級學生為對象,從學生對於「文 字符號」的概念之了解進行探討分析。第三個範例是依據台灣某上市公司,內部 員工之「職業教育訓練課程-企業倫理與職業道德」之試題,進行分析研究。以上 範例採用本文所提出的 Rasch Model GSP 表與 GSM 的研究組合模式,而能客 觀的了解受測者(學生)的能力程度與試題難度的評量結果。

本章節範例皆以 Rasch Model GSP 表,結合灰色結構模式 GSM(Grey structural model)建立 GSM 結構圖,經由研究結果,實質獲得了學生與試題的鑑 別度「

」,以及學生測驗平均值與試題難度「

,而從「 」的分佈圖,可以 辨識學生的得分率和試題答對率情形。透過 GSM 結構圖進行研究解析,可清楚 了解結構成分的分群狀態以及界定彼此的關聯性,說明了 GSM 結構圖是一種學 習地圖的概念,是具有方向性和定位的結構圖。各範例提出以 Rasch Model GSP 表與 GSM 結構圖的研究組合,明白顯示全部受測者的答題結構,讓研究結果清 楚定位與呈現,Rasch Model GSP 表對於人數及試題數沒有限制,而且可以比較 程度近似的班級,GSM 結構圖針對試題的層級結構組織之關係,能夠有系統的 呈現出來,提供給教師進行命題的參考。

第一節 範例一: 研究方法課程的作答反應

分析5-1-1 原始數據

本研究範例以中部某研究所一年級學生為對象,研究分析學生對於研究方法 課程的質性研究作答反應,將十名受測者(學生)進行編碼後,分別填入於S-P 表 的縱座標,接著將作答結果填入於橫座標,當答對試題時填入 1,答錯試題時填 入0,如表 5-1 所示。

表5-1 原始數據 問 題

學 生

試題編號 答對

1 2 3 4 5 6 7 8 9 10 題數

學 生 編 號

1 0 0 0 0 0 0 0 0 1 1 2 2 0 1 1 1 1 1 0 0 1 0 6 3 0 1 0 0 0 0 1 0 1 0 3 4 1 1 1 1 0 1 1 0 1 0 7 5 1 1 1 1 1 1 1 0 1 1 9 6 1 1 1 1 1 0 0 0 0 1 6 7 1 1 1 1 1 1 1 1 1 0 9 8 1 0 0 0 0 0 0 0 0 0 1 9 0 1 1 1 1 1 1 1 1 0 8 10 0 1 1 0 0 1 1 0 1 1 6 答對人數 5 8 7 6 5 6 6 2 8 4

S=10, P=10 分析5-1-2 S-P表製作

依照表5-1的原始數據首先畫出 S-P 表,可以得到學生的答題狀況,依據學 生的答對題數,從左下方往右方繪圖,繪出和答對數目相同的格數,如表5-2虛線 是表示學生答對試題的 S 曲線。接著檢視試題的難度情況,根據答對試題的學 生人數,由左下方往右上方繪圖,繪出和答對數目相同的格數,如表5-2實線是表 示問題反應的 P 曲線,因為原始數據過少,因此本範例省略了數據信效度之分

表5-2 S-P 表

體進行計算,獲得受測者的灰關聯係數值(Gamma)和排序,排序的產生是依照 Gamma 值而決定,經由排序之結果,而能獲得學生的 Gamma 值及排序。

分析 5-1-4 LGRA-P 表的形成與運算分析

將表5-3的縱、橫坐標項目進行轉置(transport),產生了表5-4的 LGRA-P 表。

接著進行試題(P)的關聯運算。將表5-4的矩陣代入永井正武的公式中,使用局 部性灰關聯度公式及望大值公式定義,以 Matlab 軟體進行計算,獲得全部受測 者對於試題的灰關聯係數值(Gamma)和排序,排序的產生是依照 Gamma 值而 決定,經由排序結果,而能獲得問題的 Gamma 值及排序。

表5-4 LGRA-P與排序 學生

問題 8 1 3 2 6 10 4 9 5 7 Gamma 值

及排序 Max 1 1 1 1 1 1 1 1 1 1

8 0 0 0 0 0 0 0 1 0 1 0 10 0 1 0 0 1 1 0 0 1 0 0.26

1 1 0 0 0 1 0 1 0 1 1 0.41 5 0 0 0 1 1 0 0 1 1 1 0.41 4 0 0 0 1 1 0 1 1 1 1 0.58 6 0 0 0 1 0 1 1 1 1 1 0.58 7 0 0 1 0 0 1 1 1 1 1 0.58 3 0 0 0 1 1 1 1 1 1 1 0.77 2 0 0 1 1 1 1 1 1 1 1 1 9 0 1 1 1 0 1 1 1 1 1 1 分析 5-1-5 Rasch Model GSP 表的形成與分析

根據 S-P 表的理論結構,以表5-3的 LGRA-S 和表5-4的 LGRA-P 排序為基 礎,以 Matlab 軟體進行計算,繪出圖5-1的 GSP 圖,成為鑑別受測者能力與試 題難度的圖表。如圖5-1,粗線條是(S)的 Gamma 值曲線,細線條是(P)之 Gamma 值曲線,從 GSP 表可以清楚的辨識學生的答對人數,與各個試題被答對的情形,

由 GSP 圖可看出(S)與 (P)大多集中在 Gamma 值位於 0.5至0.6 之間。

圖5-1 Rasch Model GSP 表 分析 5-1-6 學生的鑑別度與試題的鑑別度

若 Logistic Regression 方程式與 Rasch Line 的交點為 0.25 時,則交點設定 為 a1(x1,0.25) 、a2(x2,0.25) ,與 Rasch Line 的交點為 0.75 時,則交點設定為

) 75 . 0 , ( 3

3 x

aa4(x4,0.75) , 依 照 斜 率 公 式 可 以 算 出 (S ) Gamma 斜 率 為

1 1 0.753 0.25

x k x

與(P)Gamma 為

2 2 0.754 0.25

x k x

圖5-2 學生的鑑別度與試題的鑑別度

因此可以求出受測學生的鑑別度 k1S 0.96,試題鑑別度 k2 P 0.99, 受測學生的鑑別度

S 與全部試題鑑別度

P,由 GSP 圖可看出 P S,但 兩者接近,如圖5-2 所示。

分析 5-1-7 學生測驗平均值與試題難度平均值

若 Logistic Regression 方程式與 Rasch Line 之交點為 0.5時,則交點可以設 定為 b1(x1,0.5)b2(x2,0.5) ,則可以求出學生的測驗平均值 x1S 0.54,與試 題難度平均值 x2P 0.50。學生的測驗平均值  與試題的難度平均值 SP, 由 βS βP 可解讀為學生能力是大於試題難度的,如圖5-3所示。

圖5-3 學生測驗平均值與試題難度平均值

分析 5-1-8 學生最差的成績與答對率最低的試題

依照表5-1 的原始數據排序,可以得到學生的作答得分情形,同時可以計算 出得分率。針對學生所答對的試題,也可以計算出答對率,當進行排序之後,則

獲得了如表5-5 的得分率與答對率。

表5-5 得分率與答對率 問題

學生 2 9 3 4 6 7 1 5 10 8 學生

得分

得分率

% 5 1 1 1 1 1 1 1 1 1 0 9 90%

7 1 1 1 1 1 1 1 1 0 1 9 90%

9 1 1 1 1 1 1 0 1 0 1 8 80%

4 1 1 1 1 1 1 1 0 0 0 7 70%

2 1 1 1 1 1 0 0 1 0 0 6 60%

6 1 0 1 1 0 0 1 1 1 0 6 60%

10 1 1 1 0 1 1 0 0 1 0 6 60%

3 1 1 0 0 0 1 0 0 0 0 3 30%

1 0 1 0 0 0 0 0 0 1 0 2 20%

8 0 0 0 0 0 0 1 0 0 0 1 10%

答對人數 8 8 7 6 6 6 5 5 4 2

答對率% 80% 80% 70% 60% 60% 60% 50% 50% 40% 20%

S=10, P=10

圖5-4  分佈圖

由表 5-5 學生的得分率,檢視其最低的得分率S 10%與最高得分率

%

90

S ,代入測驗平均值之灰關聯度值,反算其百分比為 54%,可以得到

S

S ,

γ  的分佈情形。同時也可以得到最低試題答對率P 20%,與最高試題 答對率P 80%,代入試題難度平均值之灰關聯度值,反算其百分比為 50%,

則可以得到P,,P的分佈情形,如圖5-4 所示。

由分佈圖可看出測驗平均值之灰關聯度值,與試題難度平均值之灰關聯度值 相近,且γS,S與P,,P之分佈平均,可解讀為此份試題知學生能力與試題難 度接近,且學生成績分佈與試題難度分佈較為平均。

分析 5-1-9 GSM 圖的形成與分析

將表5-3 的 LGRA-S 和表 5-4 的 LGRA-P 的 Gamma 值(如表 5-6 與表 5-7),

分別代入永井正武的公式中,使用局部性灰關聯度公式及望大值公式定義,以 Matlab 軟體進行計算,繪出 GSM 結構圖,如圖 5-5 與圖 5-6 所示,分別是學生

(S)與問題(P)的排序結構,由圖 5-5 可看出學生之分佈平均。

對照於圖5-2 GSP 圖的(S) Gamma 和(P) Gamma 曲線,發現其排序結 構相同,可以驗證在相同 Gamma 數值的運算下,GSP 表與 GSM 圖的結構是不 會改變的,基於程式撰寫語法的限制,GSP 圖無法顯示出各個節點的定位,但是 可以搭配GSM 結構圖來進行垂直結構的判讀。經由 Gamma 值的數據顯示,可以 清楚了解節點之間的關係,而能進行集群分析。如圖 5-6 的(P)問題結構,可 以得知問題1 與問題 5 在相同的階層,問題 4、6 與 7 在相同的階層,問題 2 與 9 在相同的階層,從集群結構組織之辨識,教師可以鑑別出相同類型的試題,成為 命題改進依據。

表5-6 學生(S)之Gamma值

學生 8 1 3 2 6 10 4 9 5 7

Gamma 0 0.08 0.17 0.5 0.5 0.5 0.63 0.79 1 1

圖5-5 十位學生(S)的排序結構 表5-7 問題(P)之Gamma值

問題 8 10 1 5 4 6 7 3 2 9

Gamma 0 0.26 0.41 0.41 0.58 0.58 0.58 0.77 1 1

圖5-6 十個問題(P)的排序結構

第二節 範例二:國小學生對於文字符號概念的作答反應

P / S P1-1 P1-2 P1-3 P2-1 P2-2 P2-3 P3-1 P3-2 P3-3 P3-4 P3-5 P3-6 P4-1 P4-2 P5-1 P5-2 P6-1 P6-2 P6-3 P7 答對題數

S57 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 0 17

S59 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 0 17

S4 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 16

S10 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 0 0 16

S22 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 0 1 1 0 1 16

S37 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 0 0 16

S30 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 0 0 15

S33 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 0 0 15

S44 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 1 0 0 15

S60 1 1 1 1 0 1 1 1 1 1 1 0 1 0 1 1 1 1 0 0 15

S8 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 0 1 0 14

S12 1 1 1 1 1 0 1 1 1 1 0 1 1 0 1 0 1 0 0 0 13

S14 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 0 0 0 0 0 13

S32 1 1 1 1 1 1 1 1 1 1 0 0 1 0 1 0 1 0 0 0 13

S7 1 1 0 1 0 1 1 1 1 1 1 1 1 0 1 0 0 0 0 0 12

S21 1 1 1 1 1 0 1 1 0 1 0 0 1 0 1 0 1 0 0 0 11

S58 1 0 0 1 1 0 1 1 0 1 0 1 1 0 1 0 1 0 0 0 10

S24 1 1 1 0 0 0 1 0 1 1 0 0 0 0 1 0 1 0 0 0 8

S25 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 8

S23 0 0 0 1 0 0 1 1 1 1 0 1 0 0 0 0 0 0 0 0 6

S31 1 1 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 5

S16 1 1 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 4

S29 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 2

答對人數 58 56 54 58 53 49 59 55 54 56 46 46 52 32 51 35 54 41 35 26

S=60, P=40

分析 5-2-1 原始數據

本研究依據 Cronbach’s alpha 係數,測得的學生(S)測驗之 alpha 係數值 為0.90,而測得試題(P)測驗之 alpha 係數值為 0.94,顯示此項測驗具有高度 的信度。本範例之雙向細目表如表5-9 所示,可看出於測驗試題之教學內容分佈 均勻,並於教學目標之三目標分佈差距不大,可看出此份試卷設計良好。

表5-9 文字符號概念之雙向細目表 教學目標

學習內容 概念理解 程序性知識 解題與思

考 命題數 命題比例

(%)

語言知識方面 P1-1,P4-1 P3-6,P5-1 P3-5,P4-2 6 30%

基模知識方面 P2-2,P3-4,P7 P1-3,P6-3 P6-1,P6-2 7 35%

策略知識方面 P3-1,P3-3 P1-2,P2-1,P2-3 P3-2,P5-2 7 35%

命題數 7 7 6

命題比例(%) 35% 35% 30% 100%

分析 5-2-2 Rasch Model GSP 表的形成與分析

針對六十名學生進行測驗,測驗結果之成績,以 GSP 表與 GSM 結構圖進 行數據分析,而建立了 Rasch Model GSP 表,可看出(S)Gamma 大多分佈於 0.5 至0.8 之間,如圖 5-7 所示。

圖5-7 Rasch Model GSP 表

分析 5-2-3 學生的鑑別度與試題的鑑別度

依照本章範例一的研究方式,Logistic Regression 方程式與 Rasch Line 的交 點為0.25 時,則交點設定為 a1(x1,0.25)a2(x2,0.25) ,與 Rasch Line 的交點為 0.75 時,則交點設定為 a3(x3,0.75)a4(x4,0.75),依照斜率公式可以計算出(S)

Gamma 斜率為

1 1 0.753 0.25

x k x

與(P)Gamma 為

2 2 0.754 0.25

x k x

,同時可以計

算出受測學生的鑑別度 k1 S 0.91,與試題鑑別度 k2 P 0.94,可看出學生 鑑別度與試題鑑別度相似,受測學生的鑑別度  與試題鑑別度 SP,如圖5-8 所示。

圖5-8 學生鑑別度與試題鑑別度 分析 5-2-4 學生測驗平均值與試題難度平均值

依據 Logistic Regression 方程式與 Rasch Line 的交點為0.5時,則交點設定 為 b1(x1,0.5)b2(x2,0.5) 。而可以計算出學生的測驗平均值 x1 S 0.36,與試 題難度的平均值 x2P0.39,學生測驗平均值  與試題難度平均值 SP 相近的,如圖5-9所示。

圖5-9 學生測驗平均值與試題難度平均值

分析 5-2-5 學生最差的成績與答對率最低的試題

依照 S-P 表的分佈狀態,代入測驗平均值之灰關聯度值,反推可得測驗平 均值為 0.60,與 γS,S,這是學生得分率之分佈,代入試題難度平均值之灰 關聯度值,反推可得試題難度平均值為 0.73,與 γP,P,可以得到試題的 答對率分佈情形;依照 γP,P 分佈情形,可以得知試題難度平均值是偏低

依照 S-P 表的分佈狀態,代入測驗平均值之灰關聯度值,反推可得測驗平 均值為 0.60,與 γS,S,這是學生得分率之分佈,代入試題難度平均值之灰 關聯度值,反推可得試題難度平均值為 0.73,與 γP,P,可以得到試題的 答對率分佈情形;依照 γP,P 分佈情形,可以得知試題難度平均值是偏低