第四章 研究結果與討論
第二節 不同計分模式之 S-P 表分析法結果比較
將此份試題測驗透過二元計分、部分給分、多點部分給分進行S-P 表分析,
計算其相關指標係數,再行比較三者之差異。
壹、差異係數
差異係數 表示 S 曲線和 P 曲線分離程度的量化指標,代表施測中的不尋 常反應模組。
D∗
三種S-P 表分析法所得的D∗值詳如表4-5 所示,都落在形成性測驗 的 標準值左右,皆顯示出授課教師與學習者互動反應具有高度的密切性。
0.4 D∗ =
表4-5
不同計分模式S-P 表之差異係數
分析模式 二元計分 部分給分 多點部分給分
差異係數D∗ 0.4718 0.4420 0.4483
貳、學生注意係數
透過學生注意係數和學生得分百分比進行學生類型及狀況分類。將不同計分 模式 S-P 表分析之結果進行比較並將學生類型改變之狀態節錄成表 4-6。可以發 現多點部分給分S-P 表分析法比二元計分及部分給分分別多篩選出 4 位及 2 位學 生。
表4-6
不同計分模式S-P 表之學生類型改變紀錄
學生編號 二元計分 與 多點部分給分 部分給分 與 多點部分給分
S02 A’ → A
S05 A → A’
S17 B → B’
S18 A → A’ A → A’
S21 B → B’
合計 4 2
舉例:我們觀察S18 的學生在 S-P 表中的不完美反應組型,如表 4-7 所示。
透過 S 曲線(紅粗虛線)之判斷,S 曲線左側應為完全通過,S 曲線 右側應為完全錯誤。將未達完美組型之選項留下,其餘刪除。
表4-7
編號S18 學生的 S-P 表之不完美反應組型
施測題型 應用 選擇 選擇 填充 應用 配分 3 2 2 2 3 完美組型 全對 全錯
計分模式
試題編號 P29 P06 P09 P22 P27
CS 值 學生類型
多點部分給分 0 0 2 2 1 0.52 A’
部分給分 0 0 23 1 13 0.50 A 二元計分
S18
0 0 1 1 0.34 A
在S 曲線左側部分:(需完全通過)
我們可以發現 P29 試題所考之概念為「C12 最小公倍數」,其相同概 念知識的試題P11 及 P26 卻是通過的,且一分未得(P29 為部分給分
),相同情形一樣發生在P06 試題上。
在S 曲線右側部分:(需完全錯誤)
與P09 及 P22 的相同概念題目都完全通過,所以 P09 及 P22 的通過對 S18 是無疑的。P27 僅獲得部分分數,相對於同概念且通過的 P02、
P03 題目而言,有可能是因為 P27 的難度(知識向度:Da;認知歷程
:6.2)所導致。
由上述的說明可以得知S18(得分率 85.24%)在試題得分率高(>0.7
)的題目,未能通過的原因,應該不是相關概念未理解,而是該生粗 心大意,未能做足檢查後才交卷。再經詢問班級導師,亦認同S18 這 位學生應為A’粗心大意型的學生。
若此時,是以二元計分或部分給分的S-P 表分析法進行測驗分析,將 會判斷S18 為 A 學習穩定型學生,如果再加上老師不留意,將導致此 學生不被注意,也無法獲得正確的補救措施。
整體結果顯示多點部分給分S-P 表分析法較其他二種計分模式更為精準,對 教師而言是好的,能將更多反應組型有異常之學生篩選出,再輔以教師對學生平 時之觀察,以確認S-P 表的分類判斷是否與學生實際情形相符合,便可快速地擬 定相關輔導措施或補救教學。這樣的方式比起從無須注意的學生群中再去判斷哪 些是有問題的學生,更顯便捷。
參、試題注意係數
透過試題注意係數和答對試題學生人數百分比進行試題屬性分類。將不同計 分模式 S-P 表分析之結果進行比較,並將試題屬性改變之狀態節錄成表 4-8。可 發現多點部分給分S-P 表分析法都比二元計分及部分給分多篩選出 13 題試題。
表4-8
試題難度:0.35;鑑別度:0.52 試題編號:P27
(24) 在 16 的倍數中,最接近 300 的是 288,這個說法對嗎?
1. 鑑別度雖高,但通過率較低,且大多數學生都無法達到滿分。
2. 此題為困難型題目(知識向度:Da;認知歷程:6.2),除了考「C02 倍數的定義」概念之外,學生尚須會判斷找出的倍數是否為最接近 300 的數,為多步驟解題類型,學生需會做兩階段思考,故難度更 加深一層,因此設定為部分給分。但透過觀察上表 4-9 的試題 P27 不完美反應組型,發現大多數的人都只得1 分,顯示學生只會完成 找尋倍數的作法,對於判斷是否為接近300,卻是交代不清楚或有 遺漏不全。
透過上述兩點可知試題P27 應當為 B’拙劣型試題。其異質的成分應為
「判斷是否最接近300」。
建議教師應加強學生的思考判斷力,或應單純只考倍數的概念,也可 將題型修改為兩階段式的引導問法,如下所示:
試題編號:P27
(24) 在 16 的倍數中,接近 300 的數有哪些(有大於 300,也有小 於300 的數)?其中,以哪一個數最接近 300?
由此可知,若本試題以二元計分或部分給分的S-P 表分析法進行測驗 分析,將會判斷試題P27 為 B 困難型試題,適合用來區分高成就學生
。卻殊不知,造成試題難度過高的原因並不是學生對「C02 倍數的定 義」的概念不瞭解(相同概念之P02、P03 通過率> 0.8),也就是說試 題P27 已喪失診斷學生是否瞭解 C02 概念之功能。
因此,透過多點部分給分S-P 表分析法將 P27 試題判斷為 B’拙劣型試 題,將能使得教師對該題進行探討,對教師之試題編製或教學技巧改
進,能有正向的幫助。
整體結果顯示多點部分給分S-P 表分析法較其他二種計分模式,對於試題之 不尋常反應組型的判斷更為靈敏。這對原本異質性不大的試題而言,或許未加修 改並不會對學生學習診斷產生太大影響,但對教師而言,這樣的變化將更具有積 極改進命題、教學及學習輔導的參考價值!