• 沒有找到結果。

範例三:企業倫理與職業道德試題的作答反應

第五章 Rasch Model GSP 表與 GSM 灰色結構模式之結合分析

第三節 範例三:企業倫理與職業道德試題的作答反應

本範例以台灣某上市公司,內部員工職業教育訓練課程-企業倫理與職業道德 試題為範例,進行 Rasch Model GSP 表與 GSM 結構圖製作之研究分析。

分析 5-3-1 原始數據與 S-P 表製作

首先將六十名受測者進行編碼後,分別填入於 S-P 表的縱座標,接著將四十 題作答結果填入於橫座標,試題答對時填入 1,試題答錯時填入 0,分別將作答 結果填入於對應的欄位,而產生了 S-P 表,如圖 5-13 所示,圖 5-13 是本範例研 究之主要資料。

本研究依據Cronbach’s alpha 係數,所測得的學生(S)測驗之 alpha 係數值0.95,而測得試題(P)測驗之 alpha 係數值為 0.93,顯示此項測驗具有高度的 信度。效度分析可以根據建立好的雙向細目表來加以判斷。如果測驗的效度高,

則測驗能實現所預測量的目的。相反的,如果測試效度低,不但無法達成目的,

甚至,提供不正確的資料而作成錯誤的決定(余民寧,2002),本範例之雙向細 目表如表5-10 所示,可看出本試卷之學習內容與教學目標出題之比例平均。

表5-10 企業倫理與職業道德之雙向細目表 教學目標

學習內容 概念理解 程序性知識 解題與思考 命題數 命題比例(%)

企業倫理的意義與重

要性 7,1,4 27,21,2,24,10 22,28,37,3 12 30%

管理者的職業道德意

義及實行方法 8,9,17,30 5,23,25 13,15,33 10 25%

企業社會責任的意涵 35,26,29 6,11,12 32,31 8 20%

跨國企業的倫理問題 18,38,36 39,16,19 14,34,40,20 10 25%

命題數 13 14 13 40

命題比例(%) 32.5% 35% 32.5% 100%

圖5-13 S-P 表

本研究步驟如下。

分析 5-3-2 LGRA-S 表與 LGRA-P 的形成與運算分析

以 S-P 表的結構模式,首先將六十位受測者的編碼分別填入 LGRA-S 表的 縱座標,將問題編碼填入橫座標,將各受測者欄位列出最大值,提供受測者的關 聯運算,代入永井正武的公式中,使用局部性灰關聯度公式及最大值公式定義,

以 Matlab 軟體進行計算,獲得了受測者的灰關聯係數值和排序,排序的產生是 依照 Gamma 值而決定,經由排序之結果,而能獲得受測者的 Gamma 值及排序。

表5-11 是所有受測者的答題矩陣,及所計算出來的 Gamma 值,表 5-12 是所有 試題 LGRA-S 的 Gamma 值與排序,依序是由大到小進行排序,由上往下,由 左至右。

 

表5-11 LGRA-S受測者答題之矩陣圖 問題

學生 7 1 4 34 40 20 Gamma 值 及排序

最大值 1 1 1 … 1 1 1

S29 1 0 0

0 0 0 0.00

S23 0 0 0 0 0 0 0.04

S16 1 1 0 0 0 0 0.10

… …

S39 1 1 1

0 0 0 1.00

S36 1 1 1 1 0 0 1.00

S17 1 1 1 1 0 0 1.00

接著將四十項試題的編碼分別填入 LGRA-P 表的縱座標,受測者之編碼填 入於橫座標,各試題欄位列出最大值,提供試題的關聯係數運算,代入永井正武 的公式中,使用局部性灰關聯度公式及最大值公式定義,以 Matlab 軟體進行計 算,獲得了試題的灰關聯係數值和排序,排序的產生是依照 Gamma 值而決定,

5-13 是所有試題運算的 Gamma 值,表 5-14 是 LGRA-P 的 Gamma 值與排 序,依序是由大到小進行排序,由上往下,由左至右。

 

表5-12 LGRA-S 之 Gamma 值與排序

編號 Gamma 編號 Gamma 編號 Gamma 編號 Gamma 編號 Gamma 編號 Gamma S17 1 S56 1.00 S26 0.71 S48 0.67 S10 0.53 S12 0.36 S36 1 S28 0.83 S1 0.67 S5 0.59 S22 0.53 S21 0.29 S39 1 S3 0.76 S2 0.67 S9 0.59 S37 0.53 S7 0.26 S40 1 S15 0.76 S6 0.67 S13 0.59 S30 0.47 S58 0.26 S49 1 S18 0.76 S11 0.67 S41 0.59 S33 0.47 S24 0.18 S50 1 S19 0.76 S20 0.67 S45 0.59 S44 0.47 S25 0.18 S51 1 S38 0.76 S27 0.67 S53 0.59 S8 0.42 S31 0.13 S52 1 S42 0.76 S34 0.67 S57 0.59 S60 0.40 S16 0.10 S54 1 S43 0.76 S35 0.67 S59 0.59 S14 0.38 S23 0.04 S55 1 S46 0.76 S47 0.67 S4 0.53 S32 0.38 S29 0

表5-13 LGRA-P 試題作答矩陣圖 學生

問題 29 23 16 39 36 17 Gamma 值 及排序

最大值 1 1 1 … 1 1 1

P20 1 1 1

0 0 0 0.00

P40 1 1 1 0 0 0 0.05

P34 1 1 1 0 0 0 0.11

… …

P4 1 1 1

0 1 1 0.91

P1 1 1 1 1 0 0 0.91

P7 1 1 1 1 1 1 1.00

表5-14 LGRA-P 之 Gamma 值與排序

編號 Gamma 值 編號 Gamma 值 編號 Gamma 值 編號 Gamma 值 P7 1.00 P37 0.74 P15 0.59 P18 0.31 P1 0.91 P3 0.70 P33 0.59 P38 0.31 P4 0.91 P8 0.70 P35 0.59 P36 0.19 P27 0.91 P9 0.70 P26 0.55 P39 0.19 P21 0.85 P17 0.70 P29 0.55 P16 0.17 P2 0.79 P30 0.70 P6 0.52 P19 0.17 P24 0.79 P5 0.66 P11 0.43 P14 0.11 P10 0.74 P23 0.66 P12 0.43 P34 0.11 P22 0.74 P25 0.66 P32 0.43 P40 0.06 P28 0.74 P13 0.62 P31 0.41 P20 0.00 分析 5-3-3 Rasch Model GSP 表的形成與分析

根據 S-P 表的理論結構,以表 5-12 的 LGRA- S 和表 5-14 的 LGRA-P 表為 基礎,以 Matlab 軟體進行計算,繪出圖 5-14 的 GSP 圖,成為鑑別受測者能力 與試題難度的圖表。如圖 5-14,粗線條是(S)的 Gamma 值曲線,細線條則是

(P)的 Gamma 值曲線,從 GSP 圖可以清楚的辨識受測者的答對人數,且(S)

Gamma 值大多集中在 0.6 至 1 之間,與各個試題被答對的情形。

圖5-14 Rasch Model GSP 表

分析 5-3-4 受測者的鑑別度與試題的鑑別度

圖5-16 測驗平均值與試題難度平均值

分析 5-3-6 受測者最差的成績與答對率最低的試題

依照圖5-13 的原始數據排序,可以得到受測者的作答得分情形,同時可以計 算出得分率。針對受測者所答對的試題,也可以計算出答對率,當進行排序之後,

則獲得了如表5-15 的得分率與答對率。

表5-15 得分率與答對率 問題

學生 P7 P1 P4 P27 … P14 P34 P40 P20 學生得分 得分率

S17 1 1 1 1

1 1 1 1 1 100%

S36 1 1 1 1 1 1 1 1 2 100%

S39 1 1 1 1 1 1 1 1 3 100%

S40 1 1 1 1 1 1 1 1 6 100%

S31 1 1 1 1 0 0 0 0 7 33%

S16 1 1 0 1 0 0 0 0 8 28%

S23 1 0 1 1 0 0 0 0 9 18%

S29 1 0 1 1 0 0 0 0 9 10%

答對人數 2 4 5 5 6 7 8 8 答對率 98% 97% 97% 97% 53% 53% 48% 43%

如圖 5-17 所示,X 軸為受測者得分率與試題答對率,Y 軸為學生與試題之 Gamma 值。由測驗平均值之灰關聯度值,反推可得測驗平均值為 0.68,由試題 平均值之灰關聯度值,反推可得試題難度測驗平均值為0.75,由圖 5-17 顯示此 份試題答題狀況平均分佈,但測驗平均值偏高,顯示題目較為簡單,因此教師 可依照分佈圖進行學生程度與試題難度之修正。

圖5-17  分佈圖

分析 5-3-7 GSM 圖的形成與分析

將表 5-12 的 LGRA-S 和表 5-14 的 LGRA-P 的 Gamma 值,分別代入永井 正武的公式中,使用局部性灰關聯度公式及最大值公式定義,以 Matlab 軟體進 行計算,繪出 GSM 結構圖,如圖 5-18 與圖 5-19 所示,分別是受測者(S)與問 題(P)的排序結構。

對照於圖5-14 GSP 圖的(S)Gamma 和(P)Gamma 曲線,發現其排序結 構相同,如此可以驗證在相同 Gamma 數值的運算下,GSP 表與 GSM 圖的結 構是不會改變的,基於程式撰寫語法的限制,GSP 圖無法顯示出各個節點的定位,

但是可以搭配 GSM 結構圖來進行垂直結構的判讀。經由局部灰關聯度 Gamma

值的數據顯示,可以清楚了解節點之間的關係,而能進行集群分析(Cluster analysis)。根據圖 5-19 的(P)問題結構,可以得知問題 1, 2, 4, 21, 24 與 27 在 相同的階層,從集群結構組織進行辨識,可以鑑別出相同類型的試題,成為命題 改進的依據,這是教師進行難度相似試題刪減之依據。

圖5-18 六十位受測者(S)的排序結構

圖5-19 四十項試題(P)的排序結構

另外,GSM 是屬於有方向性的結構圖,透過箭頭的導引,可以了解節點之 間的上下關係。如圖5-19,Gamma 值為 0 者,可以解讀為:最困難的問題(如 問題14),根據其上下關聯性,可以得知問題 16 與問題 19 與其互有關聯,也可 以解讀為:當答對問題16 與問題 19 時,也有可能會答對問題 14。以圖形的距離 之定位而言,問題19 可能要花費比較多的學習距離,才能答對問題 14。經由以 上的分析說明,GSM 結構圖是一種客觀且明確的學習地圖(Learning map)。

第四節 本章小節

依照本章前三節的內容,由 Rasch Model GSP 表結合 GSM 結構分析圖,進 行三個真實數據案例之推估,其優點與討論如下:

優點一 : 樣本總類與大小並無限制

本章節所採用的三個範例,三者皆可使用 Rasch Model GSP 表進行測驗參數 推估,因此可驗證 Rasch Model GSP 表結合 GSM 結構分析圖的研究組合,可 適用於各種學科的測驗研究,且對於樣本數大小並無限制。

優點二: 教師可依照 GSM 結構圖進行試題編修

透過 GSM 結構分析圖可進行試題難度之分群,因此可刪減相同性質之試題,

進而縮短測驗時間,達成測驗之效率性,搭配  分佈圖可了解測驗學生程度與試 題難度之關聯性,因此若是題目過於簡單,可增加 GSM 結構分析圖難度較高(即 灰關聯度值較低)之試題,反之亦然。

討論一: 試題結構圖可採用其他方法進行探究

GSM 結構分析圖是透過灰關聯度值,進行試題難度之分群,亦可了解試題之 學習路徑與關聯,因此可採用其他試題結構圖,如 IRS 與 OT 等關聯結構圖,

進而比對 Rasch Model GSP 表結合 GSM 結構分析圖之研究組合。

第六章 迷思次序分析法的形成與分析

本研究迷思次序分析法之範例,以中部某國中一年級兩個班級,施測單元以 數學二元一次方程式,作答題型為選擇題之數據,前測之試題與後測不同,依照 雙向細目表列出前後測之教學目標與學習內容兩個向度,兩個班級之前後測試題 皆為相同。102 班級是實驗組,採用迷思次序分析法進行補救教學,教師依照迷 思次序分析法所篩選出迷思序較高之試題進行補救教學,而 104 班級是控制組,

採用傳統補救教學,即由最多人答錯之試題進行補救教學,研究指出,經過迷思 次序分析法的教學後,實驗組班級學生測驗成績明顯上升。經由迷思次序法所篩 選出學生學習有問題之概念,採用詮釋結構模式(Interpretive structural model ) 與灰色結構模式(Grey structural model )的解析,可以清楚了解概念之間的結構 關聯。

第一節 數據信效度分析

本研究依據 Cronbach’s alpha 係數,測得的實驗組前測學生(S)作答數據 α 係數為0.85,實驗組後測學生(S)作答數據 α 係數為 0.90,控制組前測學生(S)

作答數據 α 係數為 0.82,控制組後測學生(S)作答數據 α 係數為 0.89,顯示 此兩項測驗皆具有高度的信度。

內容效度是指題目的內容,與評量目標的一致性程度,通常較適用在成就測 驗 的 效 度 考 驗 上 , 較 常 評 量 內 容 效 度 的 方 法 為 「 雙 向 細 目 表 」(Two-way specification table):包括教學目標與學習內容兩個向度(余民寧,2002)。因此本 論文之迷思次序分析法,其前後測之試題,採雙向細目表進行內容效度之檢驗,

如表6-1 與表 6-2 所示。

表6-1 二元一次方程式前測雙向細目表 教學目標

學習內容 概念理解 程序性知識 解題與思考 命題數 命題比例(%)

以符號代表數 1,7 13,15 14 5 33.33%

方程式求解 2,6,10 12 3,5 6 40%

直角座標 4 8,9 11 4 26.67%

命題數 6 5 4 15

命題比例(%) 40% 33.33% 26.67% 100%

表6-2 二元一次方程式後測雙向細目表 教學目標

學習內容 概念理解 程序性知識 解題與思考 命題數 命題比例(%)

以符號代表數 4,14 5,12,13,19 15,20 8 40%

方程式求解 1,2,16,17 9,10, 3,7 8 45%

直角座標 6 18 8,11 4 15%

命題數 7 7 6 20

命題比例(%) 35% 35% 30% 100%

第二節 102 班級(實驗組)範例

分析6-2-1 102班級S-P表之LGRA-S與LGRA-P(前測)

本研究範例以中部某國中一年級學生為對象,研究分析學生對於數學二元一 次方程式單元前測之作答反應,前測做答題數為十五題,如圖6-1 所示。

 

分析 6-2-2 102 班級 Rasch Model GSP 表(前測)

以圖6-1 102 班級前測之 LGRA-S 和 LGRA-P 排序為基礎,採用 Matlab 軟 體進行計算,繪出圖6-2 102 班級前測之 Rasch Model GSP 表,由 S 可看出學 生測驗之平均值落在 0.52,而 P 可看出此試題之分群集中在 Gamma 值介於 0.5 至 0.7,表示試題難度介於中間的試題為較多,教師可進一步檢視所出試題,

進而分散相似概念與相似難度之試題,這說明 GSP 表是一種鑑別試題難度的圖 表。

圖6-1 102 班級 LGRA-S 與 LGRA-P(前測)

圖6-2 102 班級 Rasch Model GSP 表(前測)

分析 6-2-3 102 班級迷思學生與試題表(前測)

根據S-P 表的理論結構,從圖 6-1 的 LGRA-S 可以清楚的辨識此班級學生前

根據S-P 表的理論結構,從圖 6-1 的 LGRA-S 可以清楚的辨識此班級學生前