第三章 研究方法與設計
第四節 資料分析
資料分析處理部份,包含試題反應理論模式分析以及 ISM 圖的繪製,其分析 流程詳述說明如下:
壹、試題反應理論適合度考驗
將受試者作答資料依試題反應理論程式 BILOG-MG 進行度適合度考驗,在 設 定 型 Ⅰ 錯 誤 (Type Ⅰ error) α=.05 的 情 況 下 , 其 在 單 參 數 邏 吉 斯 模式 下 Chi-square 值達到顯著的有 11 題;在雙參數邏吉斯模式下 Chi-square 值達到顯著 的有 3 題;在三參數邏吉斯模式下 Chi-square 值達到顯著的有 6 題。根據適合度 的考驗得知,Chi-square 值達到顯著的題數愈少,表示愈適合,因此本研究採用
雙參數邏吉斯模式進行資料的分析。
貳、資料分析步驟:
一、本研究欲探討不同能力值之 ISM 概念圖之異同,以 BILOG-MG 程式分析全 體受試者之能力值,依照受試者之能力值平均數上下一個標準差為臨界點,
區分為低、中、高三組能力值。
二、將作答反應經 BILOG-MG 程式分析獲取每一試題之鑑別力參數及難度參數,
並配合表 3-3 及表 3-4 之概念屬性矩陣以 SAS/IML 矩陣運算功能進行概念與 概念間彼此指向的機率運算,獲得指定能力值之受試者概念間的分數乘法模 糊關係矩陣D(θk)=[Pij(θk)]9×9和分數除法模糊關係矩陣D(θk)=[Pij(θk)]10×10。其 受試者的分數乘法測驗模糊關係矩陣如附錄三,分數除法測驗模糊關係矩陣 如附錄四。
三、分別將分數乘除法概念的模糊關係矩陣以 AISM 程式中α =.55進行截矩陣分 析,可得到分數乘法概念屬性截矩陣Dα(θk)=[Pijα(θk)]9×9和分數除法概念屬性 截矩陣Dα(θk)=[Pijα(θk)]10×10,並可同時繪製出能力值θk的受試者之分數乘除 法概念 ISM 圖。
四、為了提供圖形之可讀性,進行 ISM 圖之簡化。簡化原則如下:若概念Ai指向 概念Aj有多條路徑 (path) ,則去除直接指向並保留間接指向的路徑。
五、依據 ISM 概念圖,搭配概念屬性矩陣及概念屬性截矩陣,圖繪出每位受試者 概念的 ISM 圖。
以分數乘法測驗編號第 345 號受試者S345為例,其總分為 21 分,能力值 為 0.064334,而本分數乘法測驗共有 22 個試題,所測得的概念總數為 9,再 將其能力值與試題鑑別度及難度參數,配合表 3-3 分數乘法試題之概念屬性
矩陣,進行概念彼此指向的機率運算,可獲得受試者概念間的模糊關係矩
3 4 5
Ak M(Ak)
A1 A1 0 A3 0 A5 0 A 7 0 0 A2 0 A2 A3 0 A5 0 A 7 0 0 A3 0 0 A3 0 0 0 0 0 0 A4 A1 A2 A3 A4 A5 0 A 7 A 8 0 A5 0 0 A3 0 A5 0 0 0 0 A 6 A1 A2 A3 0 A5 A 6 A 7 A 8 0 A 0 7 0 0 0 0 0 A 7 0 0 A 0 8 0 A3 0 A5 0 A 7 A 8 0 A9 A1 A2 A3 A4 A5 A6 A7 A8 A9
Ak R(Ak)∩M(Ak)
A1 A1 0 0 0 0 0 0 0 0 A2 0 A2 0 0 0 0 0 0 0 A3 0 0 A3 0 0 0 0 0 0 A4 0 0 0 A4 0 0 0 0 0 A5 0 0 0 0 A5 0 0 0 0 A 0 6 0 0 0 0 A 6 0 0 0 A 0 7 0 0 0 0 0 A 7 0 0 A8 0 0 0 0 0 0 0 A8 0 A9 0 0 0 0 0 0 0 0 A9
再根據R(Ak)和R(Ak)∩M(Ak),找出每一列 ( )= ( )R Ak R Ak ∩M A( k)的要 素,當找到符合條件的所有列要素,就刪除該要素的列和行,而刪除的列和 行就不再比較,所有的列都找尋完成之後,依次將找到的元素由高至低列出 層級,並依A 中的元素關係,畫上箭頭。 345
○
9
○
4○
6○
1○
2○
8
○
5○
7
○
3相鄰矩陣A 345
圖 3-2 受試者S345之分數乘法概念 ISM 圖
4.ISM 圖的簡化:若概念Ai指向概念Aj有多條路徑 (path) ,則去除直接指向 並保留間接指向的路徑。例如:概念 3 有指向概念 5、概念 2,而概念 5 有 指向概念 2,則保留概念 3 指向概念 5 及概念 5 指向概念 2 而刪去概念 3 指 向概念 2。
簡化
圖 3-3 受試者S345之分數乘法概念 ISM 圖簡化
六、ISM 圖的相似性係數分析:Goldsmith, Johnson and Action (1991) 指出徑路搜 尋分析法中的相似係數 C 值,可表示專家與生手的知識結構圖之相似度。利 用林原宏、游森期 (2006) 將徑路搜尋法應用在解題規則結構圖上的比較所 整理如下的公式:
1
#( ( ) ( ))
(1 )
#( ( ) ( ))
M
A m B m
AB
m A m B m
G v G v
S M = G v G v
=
∑
IUSAB:代表 A、B 兩個概念結構圖的相似性係數,0≤SAB ≤1,其值愈大表示 兩個概念結構圖愈相似。
M:代表概念之個數。
#:表示集合的元素個數。
( )
m B( )
mA G
G ν I ν :表示G vA( m)和G vB( m)的交集。
( )
m B( )
mA G
G ν U ν :表示G vA( m)和G vB( m)的聯集。
假 設 有 兩 位 受 試 者 A 和 B , 其 概 念 屬 性 矩 陣 為 RA
( )
rij M M= × 和
( )
B ij M M
R r
= × ,則G vA( m)表示受試者 A 的概念屬性矩陣RA
( )
rij M M= × 中,概念 m 為其先備條件的所有概念集合,定義為G vA( m)={vm|rij =1};G vB( m)表示受試 者 B 的概念屬性矩陣RB =
( )
rij M M× 中,概念 m 為其先備條件的所有概念集合,定義為G vB( m)={vm|rij =1}。
以分數乘法測驗編號第 345 號受試者S345為例,說明 ISM 圖之相似性係數計 算,將受試者S345的概念屬性矩陣R345及專家 (本研究指答對所有試題的受試者) 的概念屬性矩陣RExpert進行比較,結果如表 3-10 所示。
345
由表 3-10 之概念屬性矩陣比較可得到受試者S345與專家的 ISM 圖之相似性係
數
3 3 8 2 5 6 4
1 1
4 4 9 4 7 7 6 .7919
AB 9 S
+ + + + + + + +
= =
本研究應用 SAS/IML 計算每一受試者的概念結構圖和專家的概念結構圖的 相似性係數,SAS/IML 運算的原始碼如附錄五 (修改自祝淑梅,2007) ,最後比 較不同能力值各組間及其和專家的相似性係數之差異。
参、資料的分析重點
經上述分析步驟,可繪製不同能力值受試者的個人化 ISM 圖,茲將分析重點 說明如下:
一、 以受試者整體 ISM 圖結構為分析重點,包含劃分層級數、最上層級、最下層 級概念及明顯特徵等重點。
二、 分析不同能力值學童,在分數乘法及分數除法概念 ISM 圖中之連結關係及階 層的差異。
三、 比較不同能力值學童,其試題內分數乘除法概念 ISM 圖的異同。
四、 利用計算出的相似性係數,比較不同能力組的分數乘除法概念 ISM 圖,和專 家的分數乘除法概念 ISM 圖是否有統計上的顯著差異。
五、 利用計算出的相似性係數,比較不同能力組受試者間,其分數乘除法概念 ISM 圖是否有統計上的顯著差異。