• 沒有找到結果。

教學與評量這兩者是息息相關,而在評量進行過程中,如何有效的分 析測驗資料,提供教師在補救教學中重要的參考,並且針對試題做有效的 修正是相當重要的,這方面相關研究,有學生問題表 (student-problem chart, 簡稱 S-P 表),但 S-P 表受限於二元計分的測驗資料。本研究欲根據 S-P 表 理論方法,推廣至多元計分模式,以及多元計分次序理論作為發展認知診 斷測驗分析即時服務系統之理論基礎,幫助教學者或研究者瞭解受試者的 知識結構與學習成就,做為補救教學的協助依據,以及修正測驗試題內 容,以符合評量測驗目的。本章旨在說明本研究的研究動機與目的,以及 本研究中所提及的相關名詞予以釋意。

第一節 研究動機

傳統上常以受試者在測驗中的總分高低來評斷學習成就高低,忽略受 試者在測驗中的作答反應組型 (response pattern),無法瞭解受試者概念結 構,及解決受試者所遭遇到的學習困難,造成受試者挫折感加深,游森期、

余民寧 (2006) 提出傳統紙筆測驗具有效率、客觀、能大規模施測等優點,

但是傳統紙筆測驗忽略受試者在作答反應組型所透露的訊息,並且偏向強 調能力與排名之區分,未能針對測驗結果,提供進一步的診斷訊息。

佐藤隆博 (Takahiro Sato) 提出學生問題表的分析方法,是根據受試者 的作答反應組型的分析方法,目的在獲得每位學生的學習診斷資料,提供 學習輔導之參考。S-P表根據學生的作答反應組型,藉由差異係數 (disparity index)、同質性係數 (homogeneity index)、試題注意係數 (item caution index) 及學生注意係數 (student caution index) 等指標,判斷不尋常之反應組型,

提供診斷訊息 (余民寧,2002)。

雖然S-P表提供受試者學習狀況診斷資料,但S-P表受限於二元計分的

測驗資料,綜觀現今許多的測驗資料裡,有許多的施測資料不再只侷限於 二元計分的試題,如:數學情境的文字題、證明題等,評分者根據受試者 答題正確性程度,給予部份給分 (partial credit),則亦即試題的計分點數不 再只是兩點,即為常見多元計分 (polytomous)。此時傳統S-P表分析理論便 無法分析多元計分的測驗資料。因此,如何發展既有S-P表分析模式,使得 能夠分析多元計分測驗資料,其有必要可行之處。

Airasian and Bart (1973) 所提出的次序理論 (ordering theory, OT) ,次 序理論亦根據試題反應組型,以呈現試題之間階層結構,提供試題概念之 間的先備條件 (precondition) 之次序性關係。S-P表縱然能夠將受試者分為 六大類型,但是僅能提供學習類型分群及注意係數,無法瞭解該群受試者 的認知結構特性,如果運用次序理論分析,將各類型受試者據以進行試題 概念結構分析,便可進一步瞭解每類型受試者認知結構特性,因此對於補 救教學參考和教材編製更有意義的訊息。

但次序理論僅適用於二元計分的資料型態,無法在多元計分或混合式 多元計分的情形下使用。在相關研究方法中,由Lin, Bart, and Huang (2006) 所提出的多元計分次序理論,適用於多元或混合計分 (mixed scoring) 的資 料型態,且可針對加權 (weighted) 或非加權式 (unweighted) 需求進行資料 分析。

綜合以上所述,發展多元計分S-P表模式,以及結合多元計分次序理論 模式,有其必要及可行之處。因此本研究旨在建置一套網際網路版本認知 診斷測驗分析即時服務系統,提供教學者與研究者即時瞭解受試者學習狀 況,期能助於提升教學品質。

第二節 研究目的

基於上述研究動機所述,本研究之研究目的臚列如下:

一、根據 Sato 所提出 S-P 表,推廣至多元計分 S-P 表,並推導出學生注意 係數、試題注意係數、全體學生注意係數、全體試題注意係數等認知 診斷訊息指標,並適用於更多測驗資料分析使用。

二、結合既有 Lin, Bart and Huang (2006) 提出多元計分次序理論,與上述 所發展的多元計分 S-P 表模式,建置網路系統之認知診斷測試分析即 時服務系統。

三、認知診斷測驗即時服務系統使用者回饋意見調查,以及進行實證資料 分析。

第三節 名詞解釋

一、多元計分次序理論

Airasian and Bart (1973) 所提出的次序理論 (ordering theory) 用於探 討兩個試題之間的次序關係,但二元計分可能有不符合實際情境情形,故 Lin, Bart and Huang (2006) 將其擴展為多元計分次序理論,多元計分次序 理論則是將次序理論的二元計分,推廣至多元計分,透過多元計分次序理 論 分 析 , 可 得 到 試 題 間 的 次 序 性 (item ordering) 和 階 層 性 (item hierarchy)。

二、加權式多元計分次序理論

Lin, Bart and Huang (2006) 發展出加權式多元計分的次序理論模式與 軟體,適用於齊一型多元計分與混合型多元計分,使用加權值來定義試題 間違反次序性程度,同多元計分次序理論,可得到試題間的次序性和階層 性。

三、試題次序結構圖

根據多元計分次序理論與加權式多元計分次序理論,分析出試題間的 次序性和階層性,以圖形方式呈現出整體試題的上下位階層和從屬關係,

此圖表稱為試題次序結構圖。在圖形中,位於下層試題,且與上層試題有 從屬關係,即可說明下層試題是上層試題的先備知識概念。

四、S-P 表

S-P 表又稱為學生問題表,由佐藤隆博 (Takahiro Sato) 在 1970 年代提 出。其根據學生作答反應資料所得之診斷資料,可以瞭解學生的學習成效 和試題內容是否適當,以及學生與試題類型的分類 (Sato, 1980; Sato &

Kurata, 1997),而這種分析方法較適用於小樣本的班級人數之形成性評量 (Takeya, 1980; Tatsuoka, 1984)。

五、詮釋結構模式

詮 釋 結 構 模 式 (interpretive structural modeling, ISM) 分 析 法 是 由 Warfield (1976) 所 提 出 , 其 分 析 是 就 一 個 集 合 內 元 素 之 間 的 從 屬 (subordinate) 關係矩陣,根據離散數學和圖形理論,呈現出元素間的階層 圖形 (許天維、林原宏,1994),可系統化地表示整體元素之間的階層關聯 性結構。