第三章 研究設計與實施
第四節 資料分析處理
資料分析處理,包含IRT模式分析、分數加法概念ISM圖的模糊關係矩陣 計算、分數加法概念ISM圖的繪製、分數加法概念ISM圖的質性分析和量化比 較,其分析過程詳述於下:
壹、試題反應理論適合度考驗
將受試者的原始作答反應輸入IRT 程式 BILOG-MG 進行適合度考驗,結 果顯示:在α =.05 的情況下,其在 one-parameter logistic model 下達到顯著的 有 9 題 ; 在 two-parameter logistic model 下 達 到 顯 著 的 有 11 題 ; 在 three-parameter logistic model 下達到顯著的有 11 題。依據適合度的考驗結果 得知,本研究的資料較適合以one-parameter logistic model 來分析。
貳、資料分析步驟
一、本研究擬分析不同能力值受試者的分數加法概念ISM圖之異同,藉由 BILOG-MG程式分析全體受試者的能力值,將高於平均數以上一個標準 差的受試者界定為高能力者;低於平均數以下一個標準差的受試者界定 為低能力者;超過平均數以下一個標準差和未滿平均數以上一個標準差 之間的受試者界定為中能力者
。
二、將作答反應經BILOG-MG程式分析獲取每一試題之難度參數,每一位受 試 者 的 能 力 值 , 並 配 合 表3-2之分數加法試題的概念屬性矩陣,以 SAS/IML矩陣運算功能進行概念與概念間彼此指向的機率運算,獲得指 定能力值之受試者概念間指向的模糊關係矩陣。
三、將模糊關係矩陣
D (
θk) = [ P
ij(
θk)]
10×10以AISM程式中,選取α =.55進行截矩 陣分析。可得概念屬性截矩陣D
α(
θk) = [ P
ijα(
θk)]
10×10。並可同時繪製出能力 值θ 的受試者之分數加法概念ISM圖。 k四、簡化ISM圖,以增加圖形之可讀性。
五、根據分數加法概念ISM圖,搭配概念屬性矩陣及概念屬性截矩陣,圖繪 出每位受試者在各試題的分數加法概念屬性ISM圖。
六、依據Goldsmith, Johnson, and Action (1991) 的相似性係數 (similarity coefficient) 公式
( ( ) ( ) )
( ) ( ) (
AA mm BB mm)
AB
G G
G S G
ν ν
ν ν
U I
#
= #
的計算方式,以SAS算出各受試者分數加法概念ISM圖和專家分數加法概念ISM圖之間的相似性係數,相 似性係數公式中
G
A( )
νmI G
B( )
νm 表示兩個集合之交集,G
A( )
νmU G
B( )
νm 表 示兩個集合之聯集,#代表集合的元素個數,相似性係數0 ≤ S
AB≤ 1
,S
AB愈 大,表示受試者A和B的ISM圖結構愈相似,反之則否 (林原宏、游森期,2006)。
應用SAS/IML 計算每一受試者的概念結構圖之相似性係數,SAS/IML 運 算的原始碼如附件三,並以所有試題全部答對的受試者之分數加法概念結構 圖做為專家參照,進行不同能力值組間受試者的分數加法概念結構圖之比 較,以及高、中、低能力值組分別與專家的分數加法概念結構圖之比較。
參、資料的分析
經上述分析步驟,可繪製出高、中、低三種能力值受試者分數加法的ISM 圖,其所包含概念之分析原則說明如下:
一、以整體分數加法概念ISM 圖結構為分析重點,劃分層級數、最上層級、
最下層級概念及重要明顯特徵。
二、以個別概念為重點,分析不同能力值的分數加法概念ISM 圖,概念間所 產生的特徵與連結關係之異同。
三、分析不同能力值受試者在試題內分數加法概念屬性ISM 圖中之連結關係 及階層的差異。
四、比較高、中、低不同能力組受試者間的相似性係數,其分數加法概念ISM 圖是否有統計上的顯著差異。
五、分別將高、中、低能力三組的分數加法概念ISM圖和專家的分數加法概 念ISM圖的相似性係數作比較,以確認是否有統計上的顯著差異。