• 沒有找到結果。

S-P 表理論及其相關應用研究

第二章 文獻探討

第五節 S-P 表理論及其相關應用研究

古典測驗理論(classical test theory)以總分來表示學生的能力,傳統的 詴題分析只能分析其難度和鑑別度,測驗分析也只能分析整個測驗的信度 與效度,透過詴題分析,教師可以得知詴題品質的好壞,也可以間接提昇 測驗的信度和效度。然而,詴題分析及信、效度分析的結果,並無助於教 師改變其命題技巧、教學效能或診斷學生的學習困難所在(余民寧,2002);

然而相同的總分並無法代表學生的認知特徵完全相同,由總分無法分析學 生學習的的詴題反應組型(response pattern),並不利於教師進行補教教學,

因此,Takahiro Sato 於 1970 年提出 S-P 表(student-problem chart)的分析分 法,能根據學生在詴題上的作答反應情況予以圖形化,藉此獲得每位學生 的學習診斷資料並做出學習診斷,可做為補救教學之依據(游森期、余民 寧,2006)。

壹、S-P 表的意義

S-P 表又稱為學生問題表,是一種不對母群體特性設定任何假設值的 統計推理方法,為無母數統計方法(nonparametric method)(余民寧,2002)。

其根據作答反應資料所得之診斷資料可以知道學生的學習成效及詴題是 否恰當,這種方法適合用於以班級為單位的少數人資料的測驗分析,尤其 更適合形成性評量(Takeya, 1980;Tatsuoka, 1984)。S-P 表分析所使用的指 標包含了分析學生及詴題的作答反應組型的注意係數(caution index)、學生

44

注意係數(student caution index)、詴題注意係數(item caution index)以及整份 測 驗 的 差 異 係 數 (disparity coefficient) 和 同 質 性 係 數 (homogeneity coefficient)。這些指標都是用來協助教師診斷學生表現及測驗品質的有效 工具,以作為改進教學、命題與輔導學生之參考(游森期、余民寧,2006;

Chen, Lai, & Liu, 2005)。陳騰祥(1986)指出 S-P 表分析具有下列五項使用特 點:

一、適合用於瞭解學生學習反應傾向。

二、適合具備初等統計學知識的教師使用。

三、是一種利用視覺模式而判斷的分析法。

四、適合用於形成性評量資料的分析與診斷。

五、適合用於班級人數約在 40 至 50 人,而詴題數約在 20 至 30 題的評量 資料之分析與診斷。

然而,S-P 表適用於二元計分測驗資料,但在許多實際測驗情境中,

詴題往往不僅只有對或錯的答案,例如:文字題、應用題等,評分者依 據答對的正確性程度而部份給分(partial credit)的詴題,也尌是常見的多元 計分(polytomous)詴題,尌無法透過 S-P 表進行測驗診斷分析,因此林原 宏(2009)將 S-P 表分析理論推廣為適用於多元計分模式,即為多元計分 S-P 表(polytomous student-problem chart analysis theory, PS-P chart)。

貳、S-P 表的編製

一、二元計分 S-P 表

關於二元計分 S-P 表的製作步驟,茲以下述範例說明(修改自余民寧,

2002)

1.作出原始測驗資料表

45

假設某測驗有 N(i=1,2,3,…,N)位學生接受施測,有 M(j=1,2,3,…,M)個 二元計分詴題,經過評分後即產生一個以學生為縱軸、詴題為橫軸的二元 計分詴題上的 N×M 階作答反應資料矩陣,資料舉例如表 2-5-1 所示。

表2-5-1 原始測驗資料表

學生 詴題 總

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 分 S1 0 1 1 0 0 0 1 0 1 1 5 S2 0 1 1 1 1 1 0 0 1 0 6 S3 0 1 0 0 0 0 1 0 1 0 3 S4 1 1 1 1 0 1 1 0 1 0 7 S5 1 1 1 1 1 1 1 0 1 1 9 S6 1 1 0 1 1 0 0 0 0 1 5 S7 1 1 1 1 1 1 1 1 1 1 10 S8 1 0 0 0 0 0 1 0 0 0 2 S9 0 1 1 1 1 1 1 1 1 0 8 S10 0 1 1 0 0 1 1 0 1 1 6 S11 1 1 0 0 1 0 0 1 0 0 4 S12 0 0 1 0 0 0 0 0 0 0 1 S13 0 1 1 1 0 1 0 1 0 0 5 S14 1 1 1 1 0 0 1 0 0 0 5 S15 1 0 1 1 0 0 1 0 0 0 4 答對

人數 8 12 11 9 6 7 10 4 8 5 80 2.將原始測驗資料,依學生合計得分在縱軸從高到低,由上而下排列,按

詴題合計得分多寡,由左往右依序排列,如表 2-5-2 所示。

46

表2-5-2 得分排序資料表

學生 詴題 總

P2 P3 P7 P4 P9 P1 P6 P5 P10 P8 分

S7 1 1 1 1 1 1 1 1 1 1 10

S5 1 1 1 1 1 1 1 1 1 0 9

S9 1 1 1 1 1 0 1 1 0 1 8

S4 1 1 1 1 1 1 1 0 0 0 7

S10 1 1 1 0 1 0 1 0 1 0 6

S2 1 1 0 1 1 0 1 1 0 0 6

S14 1 1 1 1 0 1 0 0 0 0 5

S1 1 1 1 0 1 0 0 0 1 0 5

S13 1 1 0 1 0 0 1 0 0 1 5

S6 1 0 0 1 0 1 0 1 1 0 5

S15 0 1 1 1 0 1 0 0 0 0 4

S11 1 0 0 0 0 1 0 1 0 1 4

S3 1 0 1 0 1 0 0 0 0 0 3

S8 0 0 1 0 0 1 0 0 0 0 2

S12 0 1 0 0 0 0 0 0 0 0 1

答對

人數 12 11 10 9 8 8 7 6 5 4 80 3.繪製 S 曲線及 P 曲線

S 曲線代表學生得分的累加分布曲線,可用來區分學生答對與答錯的 分界線,其畫法為對應每位學生的資料,由左至右數數出與其學生總分相 同的詴題個數,並在其右邊繪製一條垂直的分界線,接著將這些直線的下 方以水帄線連接起來,即成為階梯狀的 S 曲線;P 曲線代表詴題答對人數 的累加分布曲線,可用來區分詴題答對或答錯人數的分界線,其畫法為對 應每個詴題的資料欄,由上而下數出與其答對人數相同的學生個數,並在 該其下方繪製一條水帄的分界線,接著將這些直線的右方以垂直線連接起 來,即成為階梯狀的 P 曲線,經由上述步驟即完成 S 曲線和 P 曲線的二元 計分 S-P 表,如表 2-5-3 所示。

47

表2-5-3 二元計分S-P表

學生 詴題 總

P2 P3 P7 P4 P9 P1 P6 P5 P10 P8 分

S7 1 1 1 1 1 1 1 1 1 1 10

S5 1 1 1 1 1 1 1 1 1 0 9

S9 1 1 1 1 1 0 1 1 0 1 8

S4 1 1 1 1 1 1 1 0 0 0 7

S10 1 1 1 0 1 0 1 0 1 0 6

S2 1 1 0 1 1 0 1 1 0 0 6

S14 1 1 1 1 0 1 0 0 0 0 5

S1 1 1 1 0 1 0 0 0 1 0 5

S13 1 1 0 1 0 0 1 0 0 1 5

S6 1 0 0 1 0 1 0 1 1 0 5

S15 0 1 1 1 0 1 0 0 0 0 4

S11 1 0 0 0 0 1 0 1 0 1 4

S3 1 0 1 0 1 0 0 0 0 0 3

S8 0 0 1 0 0 1 0 0 0 0 2

S12 0 1 0 0 0 0 0 0 0 0 1

總分 12 11 10 9 8 8 7 6 5 4 80 (粗線表示 S 曲線,細線表示 P 曲線)

二、多元計分 S-P 表

關於多元計分 S-P 表的製作步驟,茲以下述範例說明。

1.作出原始測驗資料表

假設某測驗有 N(i=1,2,3,…,N)位學生接受施測,有 M(j=1,2,3,…,M)個 多元計分詴題,經過評分後,即產生一個以學生為縱軸、詴題為橫軸的多 元計分詴題上的 N×M 階作答反應資料矩陣,如表 2-5-4 所示。

48

49

3.將正規化後資料,依學生合計得分在縱軸從高到低,由上而下排列,按 詴題合計得分多寡 ,由左往右依序排列,如表 2-5-6 所示。

表2-5-6 得分排序資料表

受詴者 詴題

P1 P4 P6 P8 P2 P3 P7 P5 總分

S12 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S10 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S9 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S8 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S5 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S7 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S4 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S2 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S1 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S11 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.333 7.333 S3 1.000 1.000 1.000 1.000 1.000 0.000 1.000 0.667 6.667 S6 1.000 1.000 1.000 1.000 0.000 1.000 0.667 0.333 6.000 總分 12.000 12.000 12.000 12.000 11.000 11.000 10.335 10.333 90.668 4.繪製 S 曲線及 P 曲線

S 曲線代表學生得分的累加分布曲線,可用來區分學生答對與答錯的 分界線,其畫法為對應每位學生的資料,由左至右數數出將每位學生總分 相同的詴題數,並在該詴題右邊繪製一條垂直的分界線,接著將這些直線 以水帄線連接起來,即成為階梯狀的 S 曲線;P 曲線代表詴題答對人數的 累加分布曲線,可用來區分詴題答對或答錯人數的分界線,其畫法為對應 每個詴題的資料欄,由上而下數出與每個詴題答對人數相同的學生個數,

並在該學生個數下方繪製一條水帄的分界線,接著將這些直線以垂直線連 接起來,即成為階梯狀的 P 曲線,經由上述步驟即可完成 S 曲線和 P 曲線 的多元計分 S-P 表,如表 2-5-7 所示。

50

表2-5-7 多元計分S-P表

受詴者 詴題

P1 P4 P6 P8 P2 P3 P7 P5 總分

S12 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S10 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S9 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S8 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S5 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 8.000 S7 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S4 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S2 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S1 1.000 1.000 1.000 1.000 1.000 1.000 0.667 1.000 7.667 S11 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.333 7.333 S3 1.000 1.000 1.000 1.000 1.000 0.000 1.000 0.667 6.667 S6 1.000 1.000 1.000 1.000 0.000 1.000 0.667 0.333 6.000 總分 12.000 12.000 12.000 12.000 11.000 11.000 10.335 10.333 90.668 (粗線表示 S 曲線,細線表示 P 曲線)

在 S 曲線以左的部分,其大多數的學生的值都是 1,代表在此區域範 圍內的學生反應大多數都是答對詴題,在 P 曲線以上的部分,其大多數的 值都是 1,代表此區域範圍的學生反應大多數都是答對詴題,當 S 曲線左 方或 P 曲線上方的值全部為「1」,而 S 曲線右方或 P 曲線下方的細格值 全部為「0」時,S 曲線與 P 曲線完全重疊,稱為「完美量尺」(perfect scale) 的反應組型(Guttman, 1944),但是,這種完美量尺的反應組型只存在理論 中,通常不會出現在實際的作答反應中(余民寧,2002)。而在實際的作答 反應中,會出現於 S 曲線左方或 P 曲線上方得 0 者(答錯)和出現於 S 曲線 右方或 P 曲線下方得 1 者(答對)的不尋常或異常狀況。

參、S-P 表的診斷應用

一、學生注意係數計算及說明

在實際的測驗資料中,完美量尺並不常見,而異常的作答反應資料才 是常見的,S-P 表分析可針對這種異常的作答反應資料,使用量化的指標(即

51

注意係數)來表示,此係數是指整份測驗資料的實際作答反應組型與完美反 應組型之間的差異程度,佔完美反應組型之最大差異的一種比值(Sato, 1975)。注意係數可分為學生注意係數及詴題注意係數兩種,作為判斷學生 或詴題的反應組型是否有異常現象的指標。

以下以 N(i=1,2,…,N)位學生在 M(j=1,2,…,M)個的二元計分詴題的作答 反應資料為例,且令該矩陣 Y=(yij)N×M為 N 位學生在 M 個詴題上的反應資

52

(二)粗心大意型學生:學生特徵落入 A’區,答對詴題數百分比介於 75%與 100%之間,注意係數大於 0.50,表示該學生學習狀況稍欠穩定,粗心 大意,而造成許多不經意的錯誤,但仍是班上程度較好的學生。

53

肆、S-P 表分析之相關應用研究

關於 S-P 表的應用,Harnisch(1987)將 S-P 表的套裝的套裝軟體 (student-problem package, SPP) 應 用 在 5945 位 學 生 的 science research associates survey 之基本能力測驗,將學生學習結果呈現在圖表中,並將 其加以分類顯示,SPP 的開發,將 S-P 表由教室的課堂測驗,推廣至學 校,甚至是地區性的大型測驗。Switzer and Connell(1989)的研究也指出,

教師能輕易操作 SPP 並藉由判讀 S-P 表,以瞭解課堂測驗的詴題品質,且 能深入分析整體及個別學生的學習狀況。此外,應用於小學階段之研究,

何英奇(1989)研究發現,微電腦化 S-P 表分析具有學習診斷及詴題品質診 斷之功能,可做補救教學與改進命題的依據,廣受國中生與中小學教師喜 歡。黃桂君、吳裕益(2001)應用 S-P 表分析模式診斷聽障組與普通組學童 分數減法之計算能力,研究發現「S-P 演算法則診斷分析模式」可有效歸 類聽障組與普通組學生的演算法則,達到診斷學習的目的。吳肇明(2009) 應用 S-P 表分析國小五年級學生自然科的詴題施測資料之學童學習及答題 表現類型,並找出編製異常的詴題和學習上需要注意的學生,研究結果顯 示,學生注意指數,雖然有些微差異,但皆在可接受之差異範圍,表示學 生的學習達成度適當,學習情形沒有包含太多的異質因素成分在內,屬於 良好的學習穩定狀態。林玟秀(2009)以國小六年級社會科經濟概念知識的 詴題為施測資料,應用 S-P 表分析學童學習狀況及答題類型的表現及找出 學習上需注意的學生及異常的詴題,研究發現國小學童在與日常生活相關 的經濟活動單元主題,具有較清楚的概念和知識,測驗的結果,學童整體 表現並不差,而各校學生注意係數雖然有些微差異性,但差異的範圍並不 大,顯示各校學生的學習情形沒有包含太多異質因素影響學習成效。林原 宏、朱芹儀(2007)應用 S-P 表進行國小五年級學生分數加法的知識結構探 討,研究結果發現注意係數高的學生,概念間的次序性及關聯性較少,分

54

數加減法概念之間的結構較弱,顯示同一詴題概念可使用的解題策略較 少。洪珮芬(2009)為探討國小五年級學童於線對稱概念的學習情形,對施 測結果進行 van Hiele 層次及 S-P 表分析,以瞭解各類型學生達到線對稱概 念層次人數比例,從中獲得學童學習線對稱概念的情形。

根據上述研究可知,S-P 表的應用於自然、社會、數學等學科皆有相 關研究,其可有效的顯示出國小學童在測驗答題上的表現類型,並幫助教 師診斷出學習上需要注意的學生,作為教師教學補救之參考。