國立臺中教育大學數學教育學系碩士班碩士論文
指導教授:林原宏 博士
認知診斷測驗即時服務系統:多元計
分 S-P 表及次序理論建置與應用
研 究 生:陳 慶 恩 撰
中 華 民 國 九十九 年 一 月
摘要
本研究旨在根據 Sato (1975) 提出的學生問題表 (student-problem chart, S-P chart),推廣至適用於多元計分測驗資料的多元計分學生問題表 分析 (polytomous student-problem chart, PS-P chart),並且結合由 Lin, Bart and Huang (2006) 提 出 的 多 元 計 分 次 序 理 論 (polytomous ordering theory),以及 Warfield (1976) 提出的詮釋結構模式 (Interpretive structural modeling, ISM) 等方法為演算法理論基礎,建置一套網路版的認知診斷即 時服務系統。多元計分學生問題表分析可進行受試者學習類型診斷,並透 過多元計分次序理論與詮釋結構模式進行分析,繪製試題次序結構圖,以 提供試題間次序性訊息。本研究結合上述理論,以網際網路作為平台發展 應用程式,期許作為教師或研究者運用測驗資料分析使用,其分析訊息可 作為補救教學參考依據,以提升教學品質。 其系統回饋調查分析結果顯示,如下列說明。 一、根據使用者系統使用效益滿意度調查結果,多數使用者對於系統所提 供訊息與服務,給予正面的肯定。其診斷訊息可作為補救教學參考。 二、系統介面設計方面,使用者認為系統介面操作容易,在觀看操作說明 文件後,依照文件指示可以順利操作系統,並排除遭遇的問題。 三、本研究系統建置於網際網路環境中,使用者透過網際網路連線,即可 使用本系統,可解決不同的電腦平台與地點所產生的使用限制。 四、本研究應用相關學習診斷理論,透過網際網路形式應用於教學活動, 該實作模式,可便利於教師不受時間地點影響進行資料分析,即時得 到分析訊息。 最後,依據研究結果,提出實務應用與後續研究之相關建議 關鍵字:S-P 表、PS-P 表、多元計分次序理論、詮釋結構模式、補救教學
Abstract
This study is based on student-problem chart (S-P chart), which was developed by Sato (1975). This study extends it to polytomous student-problem chart (PS-P chart) and it integrate polytomous ordering theory with interpretive structural modeling as the foundation to establish a real-time analysis system of web-based. According to this analytic information of achievement test, this system can provide assistance for remedial instruction and the design of the tests, which is analyzed by POT and ISM to draw the knowledge structure figures of the test and it provides the ordering information. This study integrates with the above-mentioned theories to develop the system with the Internet. It expects to be used by teachers and researchers in order to analyze the sequence of the test whose information could be taken as a reference guideline. The findings are as follows:
1. The results of satisfaction show that most of the user can give a positive affirmative. And the result of the analysis can be the reference for remedial instruction.
2. This interface of the system is easy to handle for most users. It is also easy to follow the guidance and use the system smoothly and exclude the problems. 3. The system is developed in the Internet. The user can solve the problems
caused by the restrictions of different operation system.
4. The study uses the cognitively diagnostic theory to practice the activities of teaching by the Internet. Besides, it is easy to get the data and the analysis result which not affected by the time and places.
and the suggestions for advanced investigation are also provided.
Keywords: Interpretive structural modeling, polytomous ordering theory, polytomous student problem chart, student problem chart, remedial instruction
目錄
第一章 緒論
………...1 第一節 研究動機………...1 第二節 研究目的………...3 第三節 名詞解釋………...3第二章 文獻探討
………5 第一節 多元計分次序理論與相關研究………...5 第二節 S-P 表理論與相關研究…..……….11 第三節 詮釋結構模式理論與相關研究...21 第四節 知識結構分析探討……….28第三章 研究設計與實施
………….………..41 第一節 研究架構………...…………..41 第二節 多元計分 S-P 表演算流程……….44 第三節 研究實施程序……….53 第四節 系統架構模組設計與建置……….55 第五節 系統開發環境工具……….60 第六節 系統操作流程說明及測試……….63 第七節 系統使用回饋調查設計……….69 第八節 系統實證研究資料……….70第四章 結果與討論
...79 第一節 系統使用操作說明……….79 第二節 分數測驗資料分析………..………...82 第三節 分數減法測驗資料分析……….89第四節 教師信念量表調查資料分析……….………96 第五節 系統使用回饋分析………...107 第六節 晤談結果與建議………...119
第五章 結論與建議
……….…..125 第一節 結論....………...125 第二節 建議....………...126參考文獻
……….127 一、中文部份……….127 二、英文部份...………..129附錄
………...133 附錄一 認知診斷之測驗分析即時服務系統使用者問卷調查……...133 附錄二 認知診斷測驗即時服務系統晤談架構表…………....……...137 附錄三 測驗資料檔案建立格式說明………...138 附錄四 認知診斷即時服務系統使用者操作說明………...141表目錄
表 2-1 試題i和試題j的答題人數之列聯表………..6 表 2-2 兩試題得分人數列聯表………...9 表 2-3 作答反應組型範例表……….12 表 2-4 原始測驗資料表……….13 表 2-5 學生得分高低排序表……….14 表 2-6 試題答對人數高低排序表……….15 表 2-7 S 曲線與 P 曲線分佈圖………..16 表 2-8 S1至 S5元素關係表………22 表 2-9 三個網路部份節點間距離值表……….………36 表 2-10 網路一與網路二各節點距離表……….………37 表 2-11 根據圖 2-7 計算網路一與網路二的 PFC 指數……….………38 表 3-1 本研究實施程序規劃表………..………...54 表 3-2 分數單元試題及所屬概念屬性表….……….…………...71 表 3-3 分數減法概念編號及內容………..………...73 表 3-4 分數減法試題的概念屬性表………..………...73 表 3-5 構面編號及內容………..………...76 表 4-1 使用者背景敘述表………..……….108 表 4-2 系統品質滿意度題目一敘述統計表………..………….110 表 4-3 系統品質滿意度題目二敘述統計表……..……….110 表 4-4 系統品質滿意度題目三敘述統計表………..…….110 表 4-5 系統品質滿意度題目四敘述統計表………..…….111 表 4-6 系統品質滿意度題目五敘述統計表………..……….111 表 4-7 系統品質滿意度題目六敘述統計表………..…….111表 4-8 資訊品質滿意度題目一敘述統計表…………..……….112 表 4-9 資訊品質滿意度題目二敘述統計表……….…………..113 表 4-10 資訊品質滿意度題目三敘述統計表………..…….113 表 4-11 資訊品質滿意度題目四敘述統計表………..….113 表 4-12 資訊品質滿意度題目五敘述統計表………..…….113 表 4-13 服務品質滿意度題目一敘述統計表………...…114 表 4-14 服務品質滿意度題目二敘述統計表………..…….…115 表 4-15 服務品質滿意度題目三敘述統計表………..…….…115 表 4-16 服務品質滿意度題目四敘述統計表………..……….…115 表 4-17 服務品質滿意度題目五敘述統計表………..……….…115 表 4-18 系統效益滿意度題目一敘述統計表………..…….…117 表 4-19 系統效益滿意度題目二敘述統計表………..….……117 表 4-20 系統效益滿意度題目三敘述統計表………...……117 表 4-21 系統效益滿意度題目四敘述統計表………...……117 表 4-22 系統效益滿意度題目五敘述統計表………...………118 表 4-23 系統使用情況調查及建議敘述統計表………...………119 表 4-24 晤談教師一基本資料………...………120 表 4-25 晤談教師二基本資料………...………120
圖目錄
圖 2-1 試題 1 與試題 2 次序結構圖………..10 圖 2-2 學生類型診斷分析圖……….18 圖 2-3 試題類型診斷分析圖……….19 圖 2-4 R( )
Ak 與R( )
Ak ∩M( )
Ak 集合元素圖………26 圖 2-5 ISM 圖……….26 圖 2-6 概念構圖計分方式舉例……….32 圖 2-7 網路一、網路二、網路三 PFC 與 GTD 指數………..35 圖 3-1 研究架構圖……….43 圖 3-2 演算流程圖……….44 圖 3-3 多元計分 S 曲線表……….47 圖 3-4 多元計分 P 曲線表……….48 圖 3-5 系統模組架構圖……….56 圖 3-6 PS-P 表及 POT 聯合分析模組演算架構……….……..58 圖 3-7 PS-P 表及 WPOT 聯合分析模組演算架構………59 圖 3-8 軟體開發環境架構圖……….61 圖 3-9 系統登入操作流程圖……….64 圖 3-10 系統訊息公告流程……….65 圖 3-11 POT 模組與 WPOT 模組………..66 圖 3-12 PS-P 表模組………..67 圖 3-13 PS-P 表與多元計分次序理論聯合分析模組………..68 圖 3-14 受試者概念學習類型診斷分析圖………...75 圖 3-15 概念類型診斷分析圖………...75 圖 3-16 受試者構面類型分類表………...77圖 3-17 構面類型分類圖………...77 圖 4-1 系統登入介面圖……….………79 圖 4-2 系統主選單畫面………...80 圖 4-3 系統多元計分模式選單圖……….…....80 圖 4-4 PS-P 表資料上傳介面……….81 圖 4-5 POT 資料上傳介面……….81 圖 4-6 PS-P 表&POT 資料上傳介面……….81 圖 4-7 S 曲線與 P 曲線分佈圖………..82 圖 4-8 系統輸出之CS係數圖………….……….….……….83 圖 4-9 系統輸出之CP係數圖……….……….………….84 圖 4-10 PS-P 表分類之 B 類型受試者………..………85 圖 4-11 A 類型試題次序結構圖………86 圖 4-12 B 類型試題次序結構圖………86 圖 4-13 C 類型試題次序結構圖………87 圖 4-14 A’類型試題次序結構圖………...………87 圖 4-15 B’類型試題次序結構圖………...88 圖 4-16 C’類型試題次序結構圖………...88 圖 4-17 S 曲線與 P 曲線分佈圖………89 圖 4-18 系統輸出之CS係數圖………..….………..90 圖 4-19 系統輸出之CP係數圖……..………….………..91 圖 4-20 PS-P 表分類之 A’類型受試者………..………92 圖 4-21 PS-P 表分類之 A 類型受試者………..………92 圖 4-22 A 類型概念次序結構圖………93 圖 4-23 PS-P 表分類之 B’類型受試者圖………...…………...93 圖 4-24 B’類型概念次序結構圖………...94 圖 4-25 PS-P 表分類之 B 類型受試者圖….………94
圖 4-26 B 類型概念次序結構圖………95 圖 4-27 PS-P 表分類之 C 類型受試者圖………..………95 圖 4-28 C 類型概念次序結構圖………96 圖 4-29 理想主義 S 曲線與 P 曲線分佈圖………97 圖 4-30 逃避現實 S 曲線與 P 曲線分佈圖………97 圖 4-31 系統輸出之理想主義CS係數圖……….98 圖 4-32 系統輸出之逃避現實CS係數圖……….99 圖 4-33 系統輸出之理想主義CP係數圖……….………..…100 圖 4-34 系統輸出之逃避現實CP係數圖……….…..………100 圖 4-35 理想主義 PS-P 表分類之 A 類型受試者………..…….102 圖 4-36 理想主義 A 類型構面次序結構圖……….102 圖 4-37 理想主義 B 類型構面次序結構圖……….103 圖 4-38 理想主義 B’類型構面次序結構圖……….103 圖 4-39 理想主義 C 類型構面次序結構圖…………..……….….……….104 圖 4-40 理想主義 C’類型構面次序結構圖……….……...…….104 圖 4-41 逃避現實 PS-P 表分類之 A 類型受試者………..……….105 圖 4-42 逃避現實 PS-P 表分類之 B 類型受試者………..…….….105 圖 4-43 逃避現實 B 類型構面次序結構圖………...…………..106 圖 4-44 逃避現實 B’類型構面次序結構圖………...….….106 圖 4-45 逃避現實 C’類型構面次序結構圖……….107 圖 4-46 逃避現實 C 類型構面次序結構圖……….107
第一章 緒論
教學與評量這兩者是息息相關,而在評量進行過程中,如何有效的分 析測驗資料,提供教師在補救教學中重要的參考,並且針對試題做有效的 修正是相當重要的,這方面相關研究,有學生問題表 (student-problem chart, 簡稱 S-P 表),但 S-P 表受限於二元計分的測驗資料。本研究欲根據 S-P 表 理論方法,推廣至多元計分模式,以及多元計分次序理論作為發展認知診 斷測驗分析即時服務系統之理論基礎,幫助教學者或研究者瞭解受試者的 知識結構與學習成就,做為補救教學的協助依據,以及修正測驗試題內 容,以符合評量測驗目的。本章旨在說明本研究的研究動機與目的,以及 本研究中所提及的相關名詞予以釋意。第一節 研究動機
傳統上常以受試者在測驗中的總分高低來評斷學習成就高低,忽略受 試者在測驗中的作答反應組型 (response pattern),無法瞭解受試者概念結 構,及解決受試者所遭遇到的學習困難,造成受試者挫折感加深,游森期、 余民寧 (2006) 提出傳統紙筆測驗具有效率、客觀、能大規模施測等優點, 但是傳統紙筆測驗忽略受試者在作答反應組型所透露的訊息,並且偏向強 調能力與排名之區分,未能針對測驗結果,提供進一步的診斷訊息。 佐藤隆博 (Takahiro Sato) 提出學生問題表的分析方法,是根據受試者 的作答反應組型的分析方法,目的在獲得每位學生的學習診斷資料,提供 學習輔導之參考。S-P表根據學生的作答反應組型,藉由差異係數 (disparity index)、同質性係數 (homogeneity index)、試題注意係數 (item caution index) 及學生注意係數 (student caution index) 等指標,判斷不尋常之反應組型, 提供診斷訊息 (余民寧,2002)。測驗資料,綜觀現今許多的測驗資料裡,有許多的施測資料不再只侷限於 二元計分的試題,如:數學情境的文字題、證明題等,評分者根據受試者 答題正確性程度,給予部份給分 (partial credit),則亦即試題的計分點數不 再只是兩點,即為常見多元計分 (polytomous)。此時傳統S-P表分析理論便 無法分析多元計分的測驗資料。因此,如何發展既有S-P表分析模式,使得 能夠分析多元計分測驗資料,其有必要可行之處。
Airasian and Bart (1973) 所提出的次序理論 (ordering theory, OT) ,次 序理論亦根據試題反應組型,以呈現試題之間階層結構,提供試題概念之 間的先備條件 (precondition) 之次序性關係。S-P表縱然能夠將受試者分為 六大類型,但是僅能提供學習類型分群及注意係數,無法瞭解該群受試者 的認知結構特性,如果運用次序理論分析,將各類型受試者據以進行試題 概念結構分析,便可進一步瞭解每類型受試者認知結構特性,因此對於補 救教學參考和教材編製更有意義的訊息。 但次序理論僅適用於二元計分的資料型態,無法在多元計分或混合式 多元計分的情形下使用。在相關研究方法中,由Lin, Bart, and Huang (2006) 所提出的多元計分次序理論,適用於多元或混合計分 (mixed scoring) 的資 料型態,且可針對加權 (weighted) 或非加權式 (unweighted) 需求進行資料 分析。 綜合以上所述,發展多元計分S-P表模式,以及結合多元計分次序理論 模式,有其必要及可行之處。因此本研究旨在建置一套網際網路版本認知 診斷測驗分析即時服務系統,提供教學者與研究者即時瞭解受試者學習狀 況,期能助於提升教學品質。
第二節 研究目的
基於上述研究動機所述,本研究之研究目的臚列如下:
一、根據 Sato 所提出 S-P 表,推廣至多元計分 S-P 表,並推導出學生注意 係數、試題注意係數、全體學生注意係數、全體試題注意係數等認知 診斷訊息指標,並適用於更多測驗資料分析使用。
二、結合既有 Lin, Bart and Huang (2006) 提出多元計分次序理論,與上述 所發展的多元計分 S-P 表模式,建置網路系統之認知診斷測試分析即 時服務系統。 三、認知診斷測驗即時服務系統使用者回饋意見調查,以及進行實證資料 分析。
第三節 名詞解釋
一、多元計分次序理論Airasian and Bart (1973) 所提出的次序理論 (ordering theory) 用於探 討兩個試題之間的次序關係,但二元計分可能有不符合實際情境情形,故 Lin, Bart and Huang (2006) 將其擴展為多元計分次序理論,多元計分次序 理論則是將次序理論的二元計分,推廣至多元計分,透過多元計分次序理 論 分 析 , 可 得 到 試 題 間 的 次 序 性 (item ordering) 和 階 層 性 (item hierarchy)。
二、加權式多元計分次序理論
Lin, Bart and Huang (2006) 發展出加權式多元計分的次序理論模式與 軟體,適用於齊一型多元計分與混合型多元計分,使用加權值來定義試題 間違反次序性程度,同多元計分次序理論,可得到試題間的次序性和階層 性。
三、試題次序結構圖 根據多元計分次序理論與加權式多元計分次序理論,分析出試題間的 次序性和階層性,以圖形方式呈現出整體試題的上下位階層和從屬關係, 此圖表稱為試題次序結構圖。在圖形中,位於下層試題,且與上層試題有 從屬關係,即可說明下層試題是上層試題的先備知識概念。 四、S-P 表 S-P 表又稱為學生問題表,由佐藤隆博 (Takahiro Sato) 在 1970 年代提 出。其根據學生作答反應資料所得之診斷資料,可以瞭解學生的學習成效 和試題內容是否適當,以及學生與試題類型的分類 (Sato, 1980; Sato & Kurata, 1997),而這種分析方法較適用於小樣本的班級人數之形成性評量 (Takeya, 1980; Tatsuoka, 1984)。
五、詮釋結構模式
詮 釋 結 構 模 式 (interpretive structural modeling, ISM) 分 析 法 是 由 Warfield (1976) 所 提 出 , 其 分 析 是 就 一 個 集 合 內 元 素 之 間 的 從 屬 (subordinate) 關係矩陣,根據離散數學和圖形理論,呈現出元素間的階層 圖形 (許天維、林原宏,1994),可系統化地表示整體元素之間的階層關聯 性結構。
第二章 文獻探討
本章主要是根據本研究目的所涉及相關理論進行探討,共分為四節, 分別為第一節多元計分次序理論與相關研究、第二節 S-P 表分析理論與相 關研究、第三節詮釋結構模式理論與相關研究和第四節知識結構分析探討 與相關研究如下。第一節 多元計分次序理論與相關研究
本節主要探討多元計分次序理論概要,以及多元計分次序理論分析三 個步驟,分別為次序係數的計算、元素的階層性與次序性判別與次序階層 結構圖繪製,最後為多元計分次序理論相關應用研究。 壹、多元計分次序理論 進行補救教學時,教學者必須針對每位學生學習狀況進行瞭解,方可 擬定補救教學計畫,在瞭解學生概念的結構分析方法中,Airasian and Bart (1973) 所提出的次序理論,但該分析方法僅適用於二元計分資料,對於實 際測驗情境的文字題與應用題,可能為多元計分資料,即無法進行分析。 因此 Lin, Bart and Huang (2006) 提出多元計分次序理論,將二元計分模式 推廣至多元計分模式。在多元計分模式下的測驗資料,可能為計分等距不同的多元混合計分 (polytomous and mixed scoring) 的形式,使用正規化加權的方法解決上述 問題,此模式稱為加權式多元計分次序理論 (weighted polytomous ordering theory, WPOT),而非加權的模式即為這加權模式下之特例 (莊宗霖、林原 宏,2007)。Airasian and Bart (1973) 提出次序理論主要有兩個目的:(一) 判 斷兩試題之間是否為先備條件 (precondition) 的次序關係。(二) 藉由試題 間次序關係的判別,呈現出試題階層 (item hierarchy) 關係。
貳、多元計分次序理論分析步驟 根據次序理論主要目的,可知試題之間也具有次序關係,假設試題i為 試題 j的先備條件,則可說明為兩試題間具有次序關係,且試題i為試題j 的前置關係;反之,若試題i不為試題 j的先備條件,則兩試題間不具有次 序關係。下列舉例以多元計分試題i與試題 j(i≠ j)來說明,其中試題i與 試題 j計分點數分別為Ci與Cj,且以k =0,1, ,(Ci −1)和l=0,1, ,(Cj −1)表 示,受試者人數以
∑ ∑
− = − = = 1 0 1 0 i j C k C l kl n n 表示,如表 2-1 所示: 表 2-1 試題i和試題j的答題人數之列聯表 試題 j 總和 j C -1 Cj-2 … 1 0 試題i i C -1 n(Ci−1)(Cj−1) n(Ci−1)(Cj−2) … n(Ci−1)1 n(Ci−1)0 n(Ci− )1• i C -2 n(Ci−2)(Cj−1) n(Ci−2)(Cj−2) … n(Ci−2)1 n(Ci−2)0 n(Ci− )2• i C -3 n(Ci−2)(Cj−1) n(Ci−2)(Cj−2) … n(Ci−2)1 n(Ci−2)0 n(Ci− )2• … 1 n1(Cj−1) n1(Cj−2) … n11 n10 n1• 0 n0(Cj−1) n0(Cj−2) … n01 n00 n0• 總和 n•(Cj−1) n•(Cj−2) … n•1 n•0 n 一、 次序係數計算表中各符號說明定義如下: (一) n(Ci−1)(Cj−1)代表在試題i得分為Ci −1分且試題 j得分為Cj −1的受試者 人數總和,n11代表試題i得 1 分且試題 j得 1 分的受試者人數總和。 (二) n(Ci− )1•代表試題i得分為Ci −1受試者人數總和。 (三) n•(Cj−1)代表試題 j 得分為Cj −1受試者人數總和。 (四) k為試題i得分,其值範圍為 0≤k ≤Ci −1,l為試題 j得分,其值範圍 為 0≤l ≤Cj −1。(五) n表示所有受試者人數。 多元計分次序理論分析方法中,有非加權式以及加權式兩種分析方 法,其中加權式較可以靈敏地分析出試題間的次序關係 (林原宏,2007)。 1. 非加權式多元計分次序理論 根據上述定義,非加權式多元計分次序理論以正規化方法,計算無法 滿足試題i指向試題 j的次數如下式:
(
1)
,0(
1)
0 1 1 , ≤ ≤ − ≤ ≤ − − < − ∀ = ′∑
∑
i j j i l kl k C l C k and C l C k n n (2-1) 2. 加權式多元計分次序理論 根據上述定義,加權式多元計分次序理論根據試題間得分差距,定義 加權值公式如下,以加權值代表無法滿足試題i指向試題 j程度: 1 1− − − = i j kl C k C l w , 0(
1)
1 1< − ≤ ≤ − − ∀ i j i C k and C l C k ,0≤l ≤(
Cj −1)
(2-2) 根據上述加權值公式定義,加權式多元計分次序理論以正規化加權方 法,計算無法滿足試題i指向試題 j的加權次數如下式:(
1)
,0(
1)
0 1 1 , ≤ ≤ − ≤ ≤ − − < − ∀ = ′∑
∑
i j j i l kl kl k C l C k and C l C k n w n (2-3) ' n 代表對正規化試題i與試題 j後,試題i得分小於試題 j得分細格內 人數總和,因此定義試題i指向試題 j的衡量係數為n′/n,該值範圍為 1 / 0≤n′ n≤ ,而該值越小代表試題i越可能為試題 j的先備條件。至於次序 係數如何判斷試題間是否具有次序關係存在,由下述進行說明。二、次序性與階層性的判定
次序性與階層性的判定標準,根據 Airasian and Bart (1973) 所提出容 忍水準ε 作為判別的依據 (Bart and Krus, 1973):(一)若n′/n小於ε,表示
試題i為試題 j的先備條件,也代表試題i與試題 j具有次序關係,兩者以 線段連結,並且將試題 j向上提高一個階層。(二) 若n′/n大於ε,表示試 題i不為試題 j的先備條件,也代表試題i與試題 j不具有次序關係,兩者 不以線段連結。根據上述可知,ε值大小的選定,會直接影響到次序關係 的判定,當ε 值越小時,代表著在試題間的次序關係判別越嚴謹,相對線 段連結則較少;當ε值越大時,代表著在試題間的次序關係判別較寬鬆, 相對線段連結則較多。在此 Bart and Krus (1973) 建議容忍水準ε值選取為
2 . 0 0≤ε ≤ 。但在實證研究中,研究者可自行選定ε值大小。 三、繪製次序結構圖 次序結構圖的繪製說明,以表 2-2 舉例,分別進行加權式與非加權式 多元計分次序理論分析方法,繪製次序結構圖說明。 1. 非加權式多元計分次序理論 下述以表 2-2 列聯表舉例說明繪製次序結構圖方法。該表為 40 位受試 者於試題 1 與試題 2 作答反應資料,其中試題 1 計分點數為 0、1、2,試 題 2 計分點數為 0、1、2、3。在下列表格資料中,無法滿足試題 1 指向試 題 2 組合有(3,1)、(3,0)、(2,1)、(2,0)、(1,0)這五種組合,這五種反應組合 人數分別為 1 人、1 人、0 人、1 人、1 人,共 4 人,總受試者人數為 40 人,因此次序性係數為 4/40=0.1,若研究者選取容忍水準為ε=0.2,試題 1 指向試題 2 次序係數小於容忍水準ε,則試題 1 為試題的先備條件,也
代表試題 1 與試題 2 之間具有次序關係,並在試題 1 與試題 2 之間以線段 連接,如圖 2-1 所示 2. 加權式多元計分次序理論 下述以表 2-2 列聯表舉例說明繪製次序結構圖方法。該表為 40 位受試 者於試題 1 與試題 2 作答反應資料,其中試題 1 計分點數為 0、1、2,試 題 2 計分點數為 0、1、2、3。在下列表格資料中,無法滿足試題 1 指向試 題 2 組合有(3,1)、(3,0)、(2,1)、(2,0)、(1,0)這五種組合,其中(3,1)這組加 權值計算為 (3/3)-(1/2)=3/6,接著加權次數的計算為 3/6×1=3/6,(3,0)這組 加權值為(3/3)-(0/2)=1,接著加權次數的計算為 1×1=1,(2,1) 這組加權值 為(2/3)-(1/2)=1/6,接著加權次數的計算為 1/6×0=0,(2,0) 這組加權值為 (2/3)-(0/2)=4/6,接著加權次數的計算為 4/6×1=4/6,(1,0)這組加權值為 (1/3)-(0/2)=2/6,接著加權次數的計算為 2/6×1=2/6,則無法滿足試題 1 指 向 試 題 2 加權次數的總合為 3/6+1+0+4/6+2/6=2.5。因此次序係數為 2.5/40=0.06,若研究者選取容忍水準為ε =0.2,試題 1 指向試題 2 次序係 數小於容忍水準ε,則試題 1 為試題的先備條件,也代表試題 1 與試題 2 之間具有次序關係,並在試題 1 與試題 2 之間以線段連接,如圖 2-1 所示。 表 2-2 兩試題得分人數列聯表 試題 2 總和 試題 1 3 2 1 0 2 6 4 6 9 25 1 1 0 5 3 9 0 1 1 1 3 6 總和 8 5 12 15 40
圖 2-1 試題 1 與試題 2 次序結構圖 參、多元計分次序理論相關應用研究 游嵐妮、林原宏 (2007) 針對體育課程中,學習扯鈴基本六種動作技 巧,應用多元計分次序理論,分析國小一年級、三年級,關於扯鈴的六種 技巧的階層結構圖。研究結果顯示各班級能力階層結構圖各具特色,且具 有次序性存在,年級不同學生,在學習的次序也不盡相同。傅健忠、劉天 翔、林原宏 (2007) 應用多元計分次序理論,分析國小低年級學童,在整 數四則運算能力指標的次序與階層結構性質。研究結果發現一年級非文字 題中最困難題型為先加後減的運算,文字題與非文字題中一年級的能力指 標試題具有階層性,以及一年級與二年級能力指標試題也具有階層性。陳 慶恩、林原宏 (2008) 應用多元計分次序理論,針對教師信念量表中,在 「理想主義」、「逃避現實」因素下,各構面的階層性與次序性進行探討。 研究結果發現在兩大因素下各年齡層教師的構面階層結構圖有部份差異 情形存在,在理想主義因素下,各年齡層教師面臨最大反應皆為挫折反應。 黃馨瑩、王士信、林原宏 (2007) 探討國小六年級學童對於自然領域中「植 物繁殖概念」的知識結構,該研究者透過 S-P 表的學生注意係數,以及試 題反應理論估出的能力值作為分群依據,進行模糊集群分析,將學生分為 兩群進行多元計分次序理論分析。研究結果顯示兩群學生結構圖與概念順 序不盡相同,可知概念順序結構,可能因學生特質不同而有所差異,因此
可依據不同特質學生,分別進行補救教學。
Chang and Lin (2007) 應用加權式多元計分次序理論,探討國小分數加 法概念結構。研究結果顯示小學生在分數概念結構,呈現出概念間的階層 性與關聯性,該訊息可提供教學者作為改善教學的依據。Lin, Chang and Yu (2008) 應用 S-P 表與試題反應理論,分析國小分析加法概念結構,將 分析訊息作為群集分析的依據,並針對各群學生分數加法概念,進行加權 式多元計分次序理論分析。研究結構指出在不同群組學生所呈現的概念階 層性與關聯性是有差異的。 根據上述研究可知,多元計分次序理論主要運用於檢視兩兩元素間次 序與階層關係的資料分析方法,透過分析結果可瞭解元素間次序性與階層 性關係訊息,而在教學上該訊息可作為設計教學活動與補救教學時的參考 指標,在問卷量表應用方面,可提供各構面間如何互相影響與影響程度之 訊息。然而該分析方法可能運用於其他不同領域,以提供特定領域內元素 間邏輯的關係訊息。本研究主要將該分析方法運用於教學與問卷量表構面 方面,以瞭解測驗後受試者試題、概念與構面次序結構圖,提供教學者或 研究者依據結構圖分析出試題、概念與構面之間的相關訊息。
第二節 S-P 表理論與相關研究
本節主要探討 S-P 表理論概要,以及 S-P 表製作步驟流程、相關指標 係數的計算、學生學習類型分類與試題品質類型分類,最後為 S-P 表理論 相關應用研究。 一、S-P 表理論學生問題表 (student problem chart) 以 Student 的 S 以及 Problem 的 P 兩個字母縮寫所得,又可簡稱為 S-P 表,是由 Sato 於 1970 年代所提出。
此方法主要是根據學生在測驗後的作答反應組型,協助教師診斷學生的學 習類型與測驗試題品質類型的方法,作為補救教學及改進命題時的重要參 考指標。學生的作答反應組型,不僅是反應測驗試題的對與錯情況,也代 表著學生是否瞭解試題所測量的概念。因此測驗總分相同學生,而作答反 應組型不同,其表示的意義也有所不同,如表 2-3 所示。 表 2-3 作答反應組型範例表 學生 試題 總分 Q01 Q02 Q03 Q04 Q05 Q06 S01 1 1 1 0 0 0 3 S02 0 0 0 1 1 1 3 S03 1 0 1 0 1 0 3 S04 0 1 0 1 0 1 3 由表 2-3 可得知,有四位學生 (S01、S02、S03、S04),測驗題目為六 題 (Q01、Q02、Q03、Q04、Q05、Q06),雖然四位學生測驗總分相同 (答 對以 1 表示,答錯以 0 表示),而答對題目卻不盡相同。若教師將這四位總 分相同的學生,視為學習程度或能力相同,但各試題所測量認知形式與概 念有所不同,因此學生間的能力仍有差異存在。所以總分並無法真正瞭解 學生學習程度及能力,應該藉由分析作答反應組型,瞭解學生的學習過程 及測驗試題是否存在缺失。因此可嘗試以幾個量化的指標數據,如:學生 注意係數、試題注意係數以及整份測驗的差異係數與同質性係數等指標, 藉由這些係數作為協助教師診斷學生表現和測驗品質,以作為改進教學、 命題與輔導學生之參考 (余民寧,1995)。 二、S-P 表的建立及相關係數指標 (一) S-P 表原始資料表
S-P 表製作步驟,以下述範例說明 (修改自余民寧,1995)。 1. 原始測驗資料表 假設某測驗有N
(
i=1,2, ,N)
位學生接受施測,M(
j =1,2, ,M)
個二 元計分試題,測驗後的作答反應資料可表示為一個N ×M 階矩陣,而這未 經過處理的矩陣稱為「原始測驗資料表」,舉例如表 2-4 所示。 表 2-4 原始測驗資料表 學生 試題 總分 1 2 3 4 5 6 7 8 9 10 96001 0 1 1 0 0 0 1 0 1 1 5 96002 0 1 1 1 1 1 0 0 1 0 6 96003 0 1 0 0 0 0 1 0 1 0 3 96004 1 1 1 1 0 1 1 0 1 0 7 96005 1 1 1 1 1 1 1 0 1 1 9 96006 1 1 0 1 1 0 0 0 0 1 5 96007 1 1 1 1 1 1 1 1 1 1 10 96008 1 0 0 0 0 0 1 0 0 0 2 96009 0 1 1 1 1 1 1 1 1 0 8 96010 0 1 1 0 0 1 1 0 1 1 6 96011 1 1 0 0 1 0 0 1 0 0 4 96012 0 0 1 0 0 0 0 0 0 0 1 96013 0 1 1 1 0 1 0 1 0 0 5 96014 1 1 1 1 0 0 1 0 0 0 5 96015 1 0 1 1 0 0 1 0 0 0 4 答對人數 8 12 11 9 6 7 10 4 8 5 80 (二)依學生總分高低排序 依照學生總分高到低,由上至下排序。若遭遇總分相同時,則依據每 位學生作答反應組型內,所有未答對試題 (即對應於 0 的試題) 之答對人 數加總,並依據加總從小至大,由上至下的排序。例如:學號為 96014 與 96001 這兩位學生,總分同為 5 分及答錯五題,學號為 96001 這位學生,答錯題目為 1、4、5、6、8 題,而這五題的答錯人數總和為:8+9+6+7+4=34; 學號為 96014 這位學生,答錯題目為 5、6、8、9、10 題,而這五題答錯 人數總和為:6+7+4+8+5=30。因此學號 96014 因排序於學號 96001 之上。 表 2-5 學生得分高低排序表 學生 試題 總分 1 2 3 4 5 6 7 8 9 10 96007 1 1 1 1 1 1 1 1 1 1 10 96005 1 1 1 1 1 1 1 0 1 1 9 96009 0 1 1 1 1 1 1 1 1 0 8 96004 1 1 1 1 0 1 1 0 1 0 7 96010 0 1 1 0 0 1 1 0 1 1 6 96002 0 1 1 1 1 1 0 0 1 0 6 96014 1 1 1 1 0 0 1 0 0 0 5 96001 0 1 1 0 0 0 1 0 1 1 5 96013 0 1 1 1 0 1 0 1 0 0 5 96006 1 1 0 1 1 0 0 0 0 1 5 96015 1 0 1 1 0 0 1 0 0 0 4 96011 1 1 0 0 1 0 0 1 0 0 4 96003 0 1 0 0 0 0 1 0 1 0 3 96008 1 0 0 0 0 0 1 0 0 0 2 96012 0 0 1 0 0 0 0 0 0 0 1 答對人數 8 12 11 9 6 7 10 4 8 5 80 (三)依試題答對人數高低排序 依照試題答對人數多至少,由左到右排序。若遭遇試題答對人數相同 時,則依據試題反應組型內,所有未答對試題之答對人數加總,並依據加 總從小至大,由上至下的排序。例如:試題 1 與試題 9,答對人數都是 8 人。試題 1 未答對學生的學號有:96009、96010、96002、96001、96013、 96003 、 96012 這 七 位 學 生 , 而 這 七 位 學 生 得 分 總 和 為 : 8+6+6+5+5+3+1=34;試題 9 未答對學生的學號有:96014、96013、96006、
96015、96001、96008、96012 這七位學生,而這七位學生得分總和為; 5+5+5+4+4+2+1=26。因此試題 9 需排序於試題 1 之左。 表 2-6 試題答對人數高低排序表 學生 試題 總分 2 3 7 4 9 1 6 5 10 8 96007 1 1 1 1 1 1 1 1 1 1 10 96005 1 1 1 1 1 1 1 1 1 0 9 96009 1 1 1 1 1 0 1 1 0 1 8 96004 1 1 1 1 1 1 1 0 0 0 7 96010 1 1 1 0 1 0 1 0 1 0 6 96002 1 1 0 1 1 0 1 1 0 0 6 96014 1 1 1 1 0 1 0 0 0 0 5 96001 1 1 1 0 1 0 0 0 1 0 5 96013 1 1 0 1 0 0 1 0 0 1 5 96006 1 0 0 1 0 1 0 1 1 0 5 96015 0 1 1 1 0 1 0 0 0 0 4 96011 1 0 0 0 0 1 0 1 0 1 4 96003 1 0 1 0 1 0 0 0 0 0 3 96008 0 0 1 0 0 1 0 0 0 0 2 96012 0 1 0 0 0 0 0 0 0 0 1 答對人數 12 11 10 9 8 8 7 6 5 4 80 (四)繪製 S 曲線與 P 曲線 對應每位學生資料列,由左至右數與每位學生總分相同試題數,並在 該試題右邊繪製一條垂直的直線 (分界線),接著將這些直線以水平直線連 接起來,形成一條階梯狀的曲線,此曲線稱為 S 曲線;對應每個試題資料 欄,由上至下數與每個試題答對人數相同學生個數,並在其下方繪製一條 水平直線 (分界線),接著將這些直線以垂直的直線連接起來,形成一條階 梯狀的曲線,此曲線稱為 P 曲線。完成 S 曲線與 P 曲線的繪製後,此表則 為完整的 S-P 表,如表 2-7 所示可得知 S 曲線為學生得分的累加分佈曲線, 作為區分學生試題答對與答錯的分界線,S 曲線以左大部份都為 1 的數值,
其代表這區域答對的試題。反之,S 曲線以右大部份都為 0 的數值,其代 表這區域答錯的試題。P 曲線則為試題答對人數累加分佈曲線,作為區分 試題答對與答錯的分界線,P 曲線以左大部份都為 1 的數值,其代表這區 域答對的試題。反之,曲線以右大部份都為 0 的數值,其代表這區域答錯 的試題。若 S 曲線與 P 曲線上方全部為 1,下方則全部為 0 時,這種情形 稱為「完美量尺」,此時 S 曲線與 P 曲線會重疊在一起。但實際的作答反 應,多半不會出現這種完美的狀況,會出現於 S 曲線或 P 曲線上方得 0 者 (答錯),以及會出現於 S 曲線或 P 曲線下方得 1 者 (答對),即為不尋常或 異常狀況產生。 表 2-7 S 曲線與 P 曲線分佈圖 學生 試題 總分 2 3 7 4 9 1 6 5 10 8 96007 1 1 1 1 1 1 1 1 1 1 10 96005 1 1 1 1 1 1 1 1 1 0 9 96009 1 1 1 1 1 0 1 1 0 1 8 96004 1 1 1 1 1 1 1 0 0 0 7 96010 1 1 1 0 1 0 1 0 1 0 6 96002 1 1 0 1 1 0 1 1 0 0 6 96014 1 1 1 1 0 1 0 0 0 0 5 96001 1 1 1 0 1 0 0 0 1 0 5 96013 1 1 0 1 0 0 1 0 0 1 5 96006 1 0 0 1 0 1 0 1 1 0 5 96015 0 1 1 1 0 1 0 0 0 0 4 96011 1 0 0 0 0 1 0 1 0 1 4 96003 1 0 1 0 1 0 0 0 0 0 3 96008 0 0 1 0 0 1 0 0 0 0 2 96012 0 1 0 0 0 0 0 0 0 0 1 答對人數 12 11 10 9 8 8 7 6 5 4 80 (實線代表 S 曲線,虛線代表 P 曲線)
三、S-P 表相關注意係數指標 在實際的測驗情境內,完美量尺並不常見的,含有異質成份的測驗資 料才是常見的,而 S-P 表分析所使用的注意係數這個量化指標來表示作答 反應組型含有的異質成份。注意係數即是整份測驗資料的實際作答反應組 型與完美作答反應組型之間的差異,所佔完美反應組型之最大差異的一種 比值 (Sato, 1975)。因此當實際作答反應組型與完美反應組型越相近時,則 注意係數也越接近 0,因此注意係數值越大時,代表實際作答反應組型與 完美作答反應組型之間差異越大,其反應組型異常或不尋常的狀況越嚴 重。注意係數有學生注意係數與試題注意係數這兩種,分別用於診斷學生 與試題是否有異常情況的指標係數。下述將以N
(
i=1,2, N)
位學生與M(
j=1,2, M)
個試題測驗的反應資料矩陣,且令矩陣為( )
M N ij y Y = × 為例,說 明學生注意係數與試題注意係數如何計算,其公式說明如下: (一)學生注意係數 (caution index of student)( )( )
( )( )
( )( )
∑
∑
• = • • = • • ′ − ′ − − = i y j i j M j i j ij i u y y u y y y CS 1 1 1 (2-4)(二)試題注意係數 (caution index of problem)
( )
( )
( )
( )
( )
y( )
u y u y y y CP j y i i N i j i ij j j • = • = • • − − − =∑
∑
• 1 1 1 (2-5) 上述公式(2-4)中,∑
= ⋅ = M j ij i y y 1 表示第i位學生總分,∑
= ⋅ = ′ M j j y M 1 1 µ 表示試 題之平均答對人數;公式(2-5)中,∑
= ⋅ = N i ij j y y 1 表示第 j 題答對人數和,∑
= • = ′ N i i y N 1 1 µ ,表示學生平均得分答對人數。四、學生類型與試題品質類型診斷及意義 注意係數偏高,即表示反應組型含有異常的成份,必須注意。而根據 S-P 表所提出的注意係數,與學生得分百分比及試題通過率結合,即可針 對學生或試題進行診斷分類,將具有相同特徵的學生或試題分為同一類 別。其學生與試題的診斷分類方法說明如下。 (一)學生分類及各類型意義
如圖 2-2 所示 (余民寧,1995;Sato, 1980; Sato & Kurata, 1997) 以學 生得分百分比為縱軸,學生注意係數為橫軸,作為學生學習狀況與學習類 型的分類,其分析診斷學習結果共分為六大類型 (A、B、C、A’、B’、C’)。 學 生 得 分 百 分 比 100% A 學習成就良好,穩定性高 A’ 粗心大意或不專心造成錯誤 75% B 學習尚稱穩定但仍需再用功 B’ 偶爾粗心且準備不充份需再努力 50% C 學習不夠充分需更加努力 C’ 學習極不穩定沒有充分準備 0 0.50 1.00 學生注意係數 (CS係數) 圖 2-2 學生類型診斷分析圖 由圖 2-2 可得知,學生類型診斷分析將學生的學習狀況分為六種學習 類型,並說明各學習類型所代表的涵義。分析結果可提供教師或研究者瞭 解學生在學習上所產生的問題,作為補救教學時重要的參考依據。余民寧 (1995) 指出教師根據學生注意係數進行學習診斷分析時,應配合平時對學 生的觀察紀錄,作出一個綜合性的研判。學生容易發生試題答錯因素,會 有下列幾項直接與間接的原因。
1. 直接原因 學生原本具有概念不正確、對學習材料不夠精熟,作答的心態不健 全,且有猜題的傾向,以及學習態度不正確,只求應付考試,不思如何努 力進步。 2. 間接原因 考試環境欠理想,造成無法專心作答,以及來自家庭或學校對於成績 與名次要求的壓力等原因。 (二)試題分類及各類型意義
如圖 2-3 所示 (余民寧,1995;Sato, 1980; Sato & Kurata, 1997) 以答 對試題人數百分比為縱軸,試題注意係數為橫軸,作為試題品質的分類, 其分析診斷學習結果共分為四大類型 (A、B、A’、B’)。 試 題 答 對 人 數 百 分 比 100% A 試題相當適當,可作為區別 低成就與其他學生的不同 A’ 試題含有異質成份,需要局 部修正,或試題中含有拙劣 的選項 50% B 試題困難度高,適合作為區 別高成就者的好試題 B’ 試題極為拙劣,含有相當異 質成份在內,可能資料登錄 錯誤或題意含糊不清,必須 加以修改 0 0.50 1.00 試題注意係數 (CP係數) 圖 2-3 試題類型診斷分析圖 由圖 2-3 可得知,試題類型診斷分析將試題品質分為四種試題屬性類 型,並說明各試題屬性類型所代表的涵義。分析結果可提供教學或研究者
瞭解試題品質的優劣,並找出試題中是否存在異質成份,以修正試題品 質。余民寧 (1995) 指出落入 A’和 B’的試題,多半與下列幾項常見的因素 有關。 1. 教學法與教材欠當 教學方法不適用於學生、教學目標與教材的內容不相符等。 2. 教師的教學態度欠佳 工作態度是否消極、立即解決學生提問、師生互動是否良好、教師是 否有掌握學生的學習狀況等。 3. 命題技巧欠當 命題條件不清楚、評量觀點與教學目標不一致、試題的提示有誤導作 答之用詞、以及違反各試題類型的命題原則等。 四、S-P 表分析的相關應用研究 Wu (1998) 利用 S-P 表分析理論建立一套 S-P 表分析軟體,並說明如 何給予教師使用該應用軟體。軟體提供分析診斷學習不適應的學生,應實 施適當輔導與補救教學,以及分析試題品質,給予教師瞭解如何修改試 題,以維護測驗測驗題庫。 吳信義、吳錫修 (2005) 結合 S-P 表分析軟體,建置開發一套網際網 路電腦測驗題庫系統,其系統可提供學生透過網際網路進行電腦化測驗, 並儲存學生作答反應資料,以進行教學評量。系統以電子郵件方法將評量 結果傳遞給學生,教師可參考評量結果,判斷學生學習困難,進行輔導與 補救教學。
Chen, Lai and Li (2005) 根據 S-P 分析理論,設計一套網路版的測驗學 習診斷系統,該系統提供四項主要功能,包括試題上傳與管理、線上編製 試卷、線上測試與學習診斷、使用者管理等功能。系統可提供教師上傳試 題,依據線上題庫或上傳試題編製一份測驗,給予學生進行線上測驗,測
驗結束之後,系統即可將測驗分析診斷的結果供教師與學生查詢。 莊宗霖、林原宏 (2007) 利用 S-P 表分析理論結合次序理論,發展一 套可題供教師進行補救教學時參考指標的即時服務系統。系統提供四項子 功能,包括學習類型診斷、試題性質診斷、學習評量即時回饋及學習類型 結構圖等功能。這些指標提供教師於補教教學時,即時的瞭解學生學習類 型與各類型的次序結構分析圖,進而針對各種學習類型學生輔導,以提升 學習成效。 由上述相關應用研究中,可得知 S-P 表分析提供學習類型與試題品質 的診斷訊息,且可作為補救教學時參考指標,成為評量學習成效時的重要 工具。S-P 表理論進階研究,可開發建置理論相關應用軟體,以及結合不 同測驗理論,使理論適用於更多領域使用,提供更多診斷訊息類型與服務。
第三節 詮釋結構模式理論與相關研究
本節主要探討詮釋結構模式理論概要,以及分析方法要點步驟,最後 為詮釋結構模式理論相關應用研究。 一、詮釋結構模式詮釋結構模式 (interpretive structure modeling, ISM) 是由 Warfield (1976) 所提出的一種社會系統工學 (social system engineering) 之彙整訊 息的建模方法。其方法主要根據離散數學與圖形理論為基礎,透過二維矩 陣的數學運算,分析一個集合內元素間的從屬關係,進而呈現整體元素間 的階層圖形與上下位關係結構。 欲進行詮釋結構模式分析前,必須預先建立集合內元素間的從屬關 係。而上述元素可為腦中知識結構最基本單位,也可為教材中最基本的單 元或學習內容 (林原宏、陳進春、許天維,2005)。佐藤隆博 (1987) 論述
詮釋結構模式在教材編製與學習上的應用,且舉出許多實例說明。林原宏 等人 (2005) 提出 ISM 分析法主要用途有三項,分別為: 1. 教材內容的結構化:將教材目標「由上往下 (top down) 的分析」, 藉 著「要達成此目標,需要哪些子目標?」的分析,決定出年級間或各 單元間教材內容的結構。 2. 編授教材內容:教學者決定出教材內容的目標層次關係,是「由下往上 (bottom up)」累積要素關係方式。利用 ISM 分析法,可幫助授課者了 解目標之間的順序關係和發展關係。 3. 學習者學習內容的結構化:學習者本身對知識的概念結構可能不同於教 材內容,因此,如果已確知學習者概念元素兩兩之間的關係時,就可 利用 ISM 分析法,得到整體概念的結構圖。 二、詮釋結構模式分析方法 ISM 分析法主要功能,是建立整體概念元素之間的關係,即經由部份 元素之間的關係,整合起來形成所以元素整體之關係 (許天維、林原宏, 1994)。其分析步驟要點以表 2-8 為例說明 (佐藤隆博,1987)。 表 2-8 S1至 S5元素關係表 上位元素 下位元素 S1 S2 S3 S4 S5 S1 0 0 0 0 0 S2 0 0 1 1 0 S3 1 0 0 1 0 S4 0 0 1 0 1 S5 1 0 0 0 0 表 2-8 中的 0 與 1 數值表示元素間是否具有從屬關係,其數值 1 表示 下位元素指向上位元素關係,反之數值 0 則不存在。表 2-8 也可使用矩陣A
來表示,如下矩陣A所示。 ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 0 0 0 0 1 1 0 1 0 0 0 1 0 0 1 0 1 1 0 0 0 0 0 0 0 A (一) 相鄰矩陣運算 矩陣A是原始資料的關係矩陣,且矩陣的概念元素共有 5 個,該矩陣 稱為相鄰矩陣 (adjacent martix)。若以一般n×n階矩陣的式子表示則為: ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = nm n n n n a a a a a a a a a A 2 1 2 22 21 1 12 11 將兩個相鄰矩陣A的自乘運算方式之結果A2表示如下所示: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )⎥⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 2 2 2 2 1 2 2 22 2 21 2 1 2 12 2 11 2 nn n n n n a a a a a a a a a A 矩陣 2 A 內的元素用數學式子表示,則如下所示: ( ) nj in j i j i k k kj ik ij a a a a a a a a a =
∑
= ⊗ ⊕ ⊗ ⊕ ⊕ ⊗ = 2 2 1 1 1 2 上式中可知 ( )2 ij a 的元素,就是A矩陣的第i列與第 j行作用的結果,在 自乘運算中⊗和⊕的符號運算,其運算規則定義如下: ⊗ 0 1 ⊕ 0 1 0 0 0 0 0 1 1 0 1 1 1 1 由⊗和⊕定義可知, 2 A 矩陣內的元素數值必定為 0 或 1。(二) 可到達矩陣運算 若A為n×n階矩陣,則定義如下所示: I A A A A I Aˆ⊕ = ⊕ 2⊕ 3⊕ ⊕ m⊕ , 其 中 I 為 n×n 階 單 位 矩 陣 。 若
(
)
m(
)
m I A I A⊕ −1 ≠ ⊕ ,我們把下式的矩陣R稱為可到達矩陣 (reachability martix)。(
)
(
)
1 1 3 2 3 2 + + ∧ ⊕ = ⊕ + ⊕ ⊕ ⊕ = ⊕ ⊕ ⊕ ⊕ = ⊕ = ⊕ = m m m m m I A I A A A A A I A A A A I A I A R (三) ISM 圖繪製 原始資料矩陣A,經由上述步驟運算後,可得到R矩陣,即為可到達 矩陣,表示如下所示: ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 1 0 0 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 0 0 0 1 R 欲繪製 ISM 圖前,必須求出相關R( )
Ak 、M( )
Ak 、R( )
Ak ∩M( )
Ak 等矩陣, 其各矩陣意義如下所示: (一) R( )
Ak 矩陣 表示矩陣A經由運算後的可到達矩陣 R,若矩陣R中元素為 1,則填 上被指向的元素代號;若元素為 0,則保持為 0。( )
⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 5 1 5 4 3 1 5 4 3 1 5 4 3 2 1 1 0 0 0 0 0 0 0 0 0 A A A A A A A A A A A A A A A A A R k (二) M( )
Ak 矩陣 矩陣M( )
Ak 是由矩陣R( )
Ak 轉置而來,而M( )
Ak 每一列,表示有哪些元 素會指向該列所屬元素。( )
⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 5 4 3 2 4 3 2 4 3 2 2 5 4 3 2 1 0 0 0 0 0 0 0 0 0 A A A A A A A A A A A A A A A A A M k (三) R( )
Ak ∩M( )
Ak 矩陣 該矩陣為R( )
Ak 矩陣與M( )
Ak 矩陣的交集,若兩矩陣相對應的位置皆存 在該元素代號,則填上該元素代號,反之則填上 0。( )
( )
⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ∩ 5 4 3 4 3 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 A A A A A A A A M A R k k 接下來,根據R( )
Ak 、R( )
Ak ∩M( )
Ak 兩個矩陣繪製 ISM 圖,步驟如下 所示: 1. 比對R( )
Ak 與R( )
Ak ∩M( )
Ak 兩個矩陣的每一列元素,找出列相等元素。 其比對結果,找出兩矩陣第一列 A1元素符合,接下來將R( )
Ak 矩陣與( )
Ak M( )
Ak R ∩ 矩陣中的A1所對應的行 (column) 與列 (row) 刪除,如下圖 2-4 所示。
( )
Ak R R( )
Ak ∩M( )
Ak 2 A A3 A4 A5 A2 3 A A4 A5 A3 A4 3 A A4 A5 A3 A4 5 A A5 圖 2-4 R( )
Ak 與R( )
Ak ∩M( )
Ak 集合元素圖 2. 刪 除 後 的 行 與 列 不 再 進 行 比 對 , 再 針 對 刪 除 後 的 R( )
Ak 矩 陣 與( )
Ak M( )
Ak R ∩ 矩陣進行相同步驟比對,可得到第五列A5元素,以此類推 可依序得到A3、A4一組元素,與A2元素。 3. 依據得到元素的先後順序,排列出元素的階層高低順序,如上例元素得 到的先後順序為A1、A5,再得到一組元素A3、A4,最後A2。得到階層 關係後,可根據原始資料矩陣 A 中的元素關係,即完成如圖 2-5 所示 ISM 圖的繪製。 圖 2-5 ISM 圖 A1 A5 A3 A4 A2 A1 A3 A5 A4 A2參、詮釋結構模式相關研究 徐德賢 (2004) 應用詮釋結構模式,進行客家語教材結構化研究。結 果顯示使用教材結構化方式教學,透過新知識建立在舊經驗之上,可幫助 學習者找到客家語學習的最佳路徑,以增進學習效率,減輕認知上的負荷。 賴宛靖、蔡秉燁 (2005) 應用詮釋結構模式,進行綜合高中數學與物 理課程關係探究。研究結果發現該理論可幫助教師增進各學科之間的統整 能力,且可使教師加速釐清學生於學習架構內,具有哪些迷思概念,有效 減少磨合期,另一方面可提升學生自我察覺學習概念盲點的所在,瞭解學 習問題所在,學習者因此提升學習成效與自信。 蔡秉燁、永井正武、鍾靜蓉 (2002) 運用 5W1H 法與詮釋結構模式, 做為企業建置網路教育訓練時,比較優劣工具。研究結果發現 ISM 分析法 可以減少元素數量,使得分析結果呈現不同解釋。
Wu, Liu, Chang and Li (2006) 以詮釋結構模式為基礎,發展一套個人 化知識引導地圖服務。研究結果指出學生在進行自我學習時是需要這樣的 知識引導地圖的服務,且提供不同學生在自我學習時認知層次地圖,並瞭 解學生對於概念的認知層次。 根據上述研究可知,ISM 分析法主要提供特定領域內元素間從屬關係 訊息,並且劃分出元素間的層級位置,以圖形方式來呈現出元素間階層圖 形。有許多研究使用 ISM 分析法進行於教材課程單元編排,主要為該方法 可提供教材單元要素的從屬關係訊息,以提供教學設計活動的參考指標。 關於使用 ISM 法所繪製次序結構圖,可能呈現出元素間直接連結與間接連 結之線段,因此圖形線條過於雜亂,造成判讀上的困難,關於如何進行圖 形線條簡化,值得去深入探討。
第四節 知識結構分析探討
知識結構的方法主要在探討學習者如何將知識與學習技能後,以知識 結構的方式來表徵,將特定知識領域中各概念,建構出概念間的組織性與 完整性的認知結構。關於探討知識結構的方法有許多,本研究將以探討圖 形評量為取向的分析方法中,概念構圖 (concept mapping) 和徑路搜尋網 路 (pathfinder network) 兩種分析方法作介紹,包含知識表徵和知識的量 化,以及相關應用研究。 壹、概念構圖與評量 一、概念構圖的意義 概念 (concept) 是指以一個概括性的名詞或符號,代表一群具有相同 屬性事物的全體 (張春興、林清山,1989)。若兩個或多個概念之間,使用 連結語(relation link) 加以連結,即為一個命題 (proposition)。例如:「檸檬 是酸的」 這個命題中,有「檸檬」與「酸」這兩個概念存在,並且兩個 概念被連結為一道完整的語句。然而學習者概念間的連結,會隨著自身所 學習概念數量增加,概念間的相互連結也相對增加,進而產生更多的不同 的命題,但這些命題中有可能是無意義的,並且概念間的相互連結也更複 雜,因此容易造成學習者學習概念時容易混淆,感覺學習上有困難。Novak and Gowin 於 1984 年提出概念構圖,該方法是根據 Ausubel (1968) 學習理論中,學習者將所要學習的新知識與自身擁有的概念作相互 連結,即產生「有意義的學習」,而概念構圖則是根據「有意義的學習」, 所發展的知識表徵工具。該方法要求學習者必須將學習的概念作階層性的 分類,將概念由上而下排列,上方概念代表主要概念,其餘細節概念,則 位於下方以及兩側,利用上述方式將概念間作分類與連結,形成一個網狀 結構圖,稱為概念圖。學習者在建構概念圖時,必須針對各個概念進行連 結,然而這些概念中有新概念,也有舊概念,因此學習者在建構概念圖的
過程中,即可達到「有意義的學習」。
二、概念構圖實施步驟
Novak and Gowin (1984) 針對不同年齡層學習者,會有不同認知需求 以及先備知識,進而指導學習者如何進行概念構圖的步驟,余民寧 (1997) 將實施概念構圖的教學活動,分為五大步驟,依序為選擇 (selection)、歸 類及排序 (clustering and ordering)、連結及連結語 (linking and labeling)、 交叉連結 (cross linking)、舉例 (exampling)。
(一)選擇 教師挑選與進行概念構圖有相關的主題教材,例如:書本或雜誌中某 個章節、演講記錄等,接著要求學習者閱讀,再挑選出關鍵字或片語,每 個關鍵字或片語都是一個概念。之後,將被挑選出來的這些概念呈現出 來,提供學生共同討論與決定討論主題的中心概念。 (二)歸類及排序 根據挑選出的概念,教學者要求學習者將概念分類為:概念間具有任 何從屬關係或階層關係的群集 (clusters) ; 概念間不具任何有從屬關係或 階層關係的群集,依此分類方式可得到兩個以上的群集。分類完成後,根 據每一群集從屬關係或階層關係,將較一般化至較特殊化的概念,由上而 下排列,概念間若無關連可放置平行位置。 (三)連結及連結語 根據概念在各階層的分佈情形,將任何兩個有關連的概念,使用一條 線段做連結,形成一道有意義的命題 (meaningful proposition)。並在連結 線旁附加適合的連結語,說明兩概念間的關連及意義,完成該步驟後,此 圖稱為「概念圖」。 (四)交叉連結 在概念圖中各概念群集內,找出兩個具有關連的概念,使用連結線進
行連結,並在連結線旁附加適合的連結語,說明不同概念群集之間的關 係。這類行為表現可激發學習者想像力、創造力及應變力,教學者應多鼓 勵這類行為表現。 (五)舉例 最後,教學者要求學習者根據最下方概念,也就是最特殊化概念,舉 出適當的課外例子,透過該方法可瞭解學習者是否融會貫通這些概念。 透過上述概念構圖的實施步驟可知,根據每位學習者對於特定主題所 建構的概念圖,彼此間可能具有差異情形,透過不同的概念連結與連結 語,可瞭解學習者對於概念的瞭解情形,以及學習者的學習成就差異情 形。因此教學者可以使用概念圖作為診斷某個主題學習表現成就 (Stuart, 1985),且概念圖不僅可以作為一種教學策略,同時更可以作為一種評量工 具,教師可以從學生所繪製的概念圖來作為評量學習成就的依據 (吳惠 婷,2008)。 三、概念構圖的評量方法 概念構圖可作為成就測驗之用,配合其它測驗工具,可瞭解學習者在 某一學科領域知識 (許松樑、邱上貞、蔡長添,1990),且教學者可藉由每 位學習者所建構的概念圖差異情形,瞭解學習者學習成就高低。因此,概 念圖具有診斷的功能,可提供作為有效的評量工具 (陳俊智、郭小菁, 2001)。然而概念構圖的評量方法,大致上可分為兩個方向 (宋德忠、陳淑 芬、張國恩,1998):(一)將學習者所建構的概念圖與專家或教師的概念圖, 進行比對差異情形,進行診斷;(二)透過概念構圖的過程,瞭解學習者進 行學習時知道結構改變情形。一般概念構圖的主要計分方法,仍然以 Novak and Gowin (1984) 所發展出計分方式為藍本,其計分方式是將學習 者的概念圖分為四個結構成份,分別為關係、階層、交叉連結以及舉列等 四項。評分方式設計敘述如下 (余民寧,1997)。
(一)關係 針對兩個概念間連結為一道命題,其中,連結線與連結語必須表達出 兩個概念間關聯是有意義且有效的,評分時,只對一個有效且有意義連 結,即給予一分。 (二)階層 針對概念圖中概念分佈情形所呈現的階層數量,其中每一個附屬概念 應比位於上階層概念更具有特殊性以及具體化。評分時,只對有意義及有 效的階層關係,即給予五分。 (三)交叉連結 概念圖中某個階層的概念與另一階層的概念間呈現有意義的連結,交 叉連結是代表兩個經由統整後的概念階層之間有效的關聯連結,也可作為 學習者創造力的展現。評分時,可針對創造力展現給予更多鼓勵,即給予 十分。 (四)舉例 給予學習者根據自身的理解,針對知識作統整之後,以特定的事件或 物件作為例子,但必須不為教材中現成的例子。教學者可根據學習者所舉 出的例子性質,瞭解學習者是否掌握正確概念。評分時,學習者舉出的例 子若明確指出概念間的關係,則每一個特定的事件或物件的例子,即給予 一分。 根據上述評分方式,為多數研究者作為使用概念構圖評量時,作為設 計評分方式的一種參考藍本。研究者可自行根據需求,設計評分項目與給 分標準。而圖 2-6 為一個典型概念構圖評量例子與計分原則說明。
階層 連結語 連結語 連結語 第一階 連結語 連結語 連結語 連結語 第二階 連結語 連結語 連結語 連結語 第三階 舉例 舉例 連結語 連結語 連結語 事件 事件 第四階 交叉連結 舉例 舉例 交叉連結 物件 物件 計分項目 分數 × 數量 連結語 階層 交叉連結 舉例 1 × 14 5 × 4 10 × 2 1 × 4 14 (分) 20 (分) 20 (分) 4 (分) 總分 58 (分) 圖 2-6 概念構圖計分方式舉例 主要概念 一般概念 一般概念 一般概念 概念 概念 概念 概念 較不一 般概念 較不一 般概念 特殊 概念 特殊 概念 特殊 概念
四、概念構圖相關應用研究
Chang (2002) 應用概念構圖方法,透過先前學習者所討論訊息,解決 並回答懸擺問題。研究結果顯示使用先前討論訊息去回答懸擺問題是有效 的,但解決懸擺問題無法改變學習者在學習討論時的行為。Chiu, Huang and Chang (2000) 根據學習者於網際網路進行互動,進行合作式的概念構圖活 動,並評估活動過程及影響。研究結果顯示使用此方法可幫助學習者學 習,並且概念構圖法對知識獲得與態度皆有正向影響。 鄭憲聰 (2006) 嘗試將概念構圖教學法應用於生活科技的教學上,以 簡易手擲機製作教學活動為例。研究結果顯示概念構圖法教學可以有效提 升學習者的思考力與統整能力,並且協助學習者更容易記憶欲學習的內 容,但實施教學前必須給予學習者足夠的先備知識與概念。 羅希哲、溫漢儒、曾國鴻 (2007) 應用概念構圖融入電腦輔助教學的 教學策略,進行綜合高中化學科教學,並評定其教學效果。研究結果包括: (一)實驗組學生學習成就優於控制組。(二)實驗組學生在分析及綜合等認知 層面,學後保留情形不佳,但在知識、理解、應用及評鑑等認知層面,學 後保留情形較佳。(三)後測成績、學後保留成績及學習態度,並不會因性 別不同而有所差異。(四)研究所發展之教材,可引起學習者注意與學習興 趣,以及改變學習態度。(五)徑路分析結果顯示,教材呈現影響學習者學 習成就的路徑,主要有三條路徑。 陳俊智、郭小菁 (2001) 應用概念構圖教學法於造型教學課程,探討 結構化認知教學策略在設計基礎課程的成效。研究指出概念圖可有效提高 學生高層次與低層次的認知能力,並提升造形分析、推理與評鑑能力,經 由實驗進行,可知概念構圖法是一種有效的學習評量與教學診斷工具。 根據上述研究可知,有多種學科皆使用概念構圖法作為教學方法與評 量工具,表示概念構圖法可以推廣至更多不同學科領域,協助學習者建構 特定學科領域的知識結構。該方法促使學習者根據自身理解,繪製概念結
構圖,透過此技巧訓練可有效激發學習統整力,並促使學習者更加瞭解學 習內容,以及概念分類與關聯。教學者也可根據學習者所繪製的概念結構 圖,釐清學習者具有哪些迷思概念,以便進行補救教學時參考依據。
貳、徑路搜尋網路分析
徑路搜尋網路分析是 1985 年由美國新墨西哥州立大學計算研究實驗 室領導人 Schvaneveldt 與其研究小組,根據網路模式 (network model) 和 圖形理論 (graph theory),發展出路徑搜尋量尺化算則 (pathfinder Scaling algorithm)。此方法以節點連結方式可建構出受試者知識結構,並計算各節 點間分佈位置,進行結構間的比較,用以分析及評量學習者與專家間的差 異情形。徑路搜尋網路分析對於評量知識結構的過程大致上可分為三個步 驟,包括知識結構的引出、知識結構的表徵以及知識結構的評價。其上述 三個評量步驟說明如下。 一、知識結構的引出 學習者將某一特定領域所屬的各個概念,經由分類後,進行概念間兩 兩配對,學習者根據本身判斷兩兩概念間關連性、相似性,完成概念配對 即可得到一個對稱性的近似性矩陣 (proximity matrix, PRX),並以數值表示 兩兩概念間的關聯程度,其數值越小,代表兩概念間越有緊密關聯。將近 似性矩陣進行資料分析,可轉換為資料網路,資料網路中各節點皆有鍊 結,因此該資料網路為一個完成網路 (complete network)。若資料網路是以 N 個概念節點所組成,且每個節點皆有鍊結,則有 N(N-1) / 2 個鍊結。 二、知識結構的表徵 根據知識結構的引出步驟,轉換而得資料網路為無方向鍊結形式,在 資料網路不論是直接鍊或非直接鍊均有鍊值,經由公式計算後,會保留節 點間「最短長度徑路」,其計算原則為若節點直接鍊結距離小於間接鍊結
距離時,才會保留直接鍊結。 三、知識結構的評價
知識結構的評價進行方式,主要是將學習者的路徑搜尋網路與專家的 路徑搜尋網路進行比對,其比對方式是以三種相似性指數作為判別的依 據,分別為:圖形理論距離指數 (graph-theoretic distance index, 簡稱 GTD)、近似性指數 (proximity index, 簡稱 PRX)、相近性指數 (closeness index, 簡稱 PFC 或 C 指數),以判斷學習者與專家間,知識結構的相似性 程度。下述說明引自 Goldsmith, Johnson and Acton (1991) 所列舉例子,進 行三個指數計算過程說明。 網路一 PFC=.43 PFC=.74 GTD=.79 GTD=.42 網路二 網路三 圖 2-7 網路一、網路二、網路三 PFC 與 GTD 指數 A B C D E F G A B C D E F G A B C D E F G