植基於數學學習領域分年細目之網路施測與認知診斷系統

(1)

國立臺中教育大學教育測驗統計研究所理學碩士論文

指導教授：林原宏博士

植基於數學學習領域分年細目

之網路施測與認知診斷系統

研究生：曹書豪

撰

中華民國九十七年七月

(2)

(3)

中文摘要

本研究目的在研發網路施測及即時認知診斷分析系統，提供教師立即瞭解學生學習成效及概念的階層次序分析之訊息，教師可據以針對個別學生進行補救教學。在演算方法上，系統以試題反應理論 (item response theory, IRT)、次序理論 (ordering theory, OT)和詮釋結構模式 (interpretive structural modeling , ISM)為基礎，進而分析並繪製個別化的階層次序圖。本研究以國小數學學習領域之「數與量」及「幾何」兩大主題為研究實例內容，根據其相關之分年細目，進行設計測驗試題，以網路施測及即時認知診斷系統為研究工具，並選擇國小三、四年級學生為施測對象。研究結果顯示，本套系統可針對受試者即時評量並分析、繪製其知識結構之階層次序圖，除了可減少評量所耗費的時間、人力外，並提供教師暸解學生的概念階層及概念的順序性，做為補救教學的依據。目前系統只擁有國小一到三年級數學學習領域之題庫，未來可以擴充其他年級、其他學習領域的題庫，建置一套更完備之診斷分析系統。關鍵字：次序理論、知識結構、試題反應理論、詮釋結構模式

(4)

(5)

Abstract

The purpose of this study is to develop a network cognition diagnosis system for teachers to understand the learning efficiency and information of concept hierarchies and ordering. Teachers could therefore do individualized remedial instruction. This algorithm is based on item response theory, ordering theory and interpretive structural modeling.

The empirical data testing of this research focuses on the domain of “number and quantity'”and “geometry” of elementary mathematics. In addition, the research integrates relative mathematics indicators to design tests. The examinees who take the test are third and fourth graders.

The system can immediately estimate examinees' ability, and analyze the results to display students' knowledge structures. In addition to time saving, the system can provide teachers to understand concept hierarchies of students so that teachers could design remedial instruction. Now the item bank has been built for first and third graders on mathematics. It is suggested that one can expand database for other graders or for anther subjects.

Keywords:interpretive structural modeling, item response theory, knowledge

(6)

(7)

目次 ... I 表次 ... III 圖次 ... IV 第一章緒論 ...1 第一節研究動機...1 第二節研究目的...2 第三節名詞解釋...3 第二章文獻探討 ...5 第一節試題反應理論...5 第二節次序理論...12 第三節詮釋結構模式...16 第四節網路施測系統...23 第五節九年一貫數學學習領域...25 第三章研究方法 ...31 第一節研究架構...31 第二節研究工具...32 第三節研究對象...45 第四節系統分析與設計...46 第五節系統開發與測試 ...64 第四章結果與討論 ...67 第一節網路施測與分析系統簡介...67 第二節答題反應敍述分析...73 第三節受試者之知識結構分析...75 第四節系統回饋問卷分析...99 第五章結論與建議 ...101 第一節結論...101 第二節建議...103 參考文獻 ...105

(8)

中文部份 ...105

西文部份 ... 111

附錄-測驗題目... 115

幾何 ... 115

(9)

表次

表 2-2-1 試題i和試題j_{的答題人數之列表 ...13} 表 2-3-1 公式(6)的對應值表 ...17 表 2-3-2 公式(7)的對應值表 ...17 表 3-2-1 年級及主題分佈表...32 表 3-2-2 二年級的幾何題號代號與試題參數表...33 表 3-2-3 三年級的數與量題號代號與試題參數表...33 表 3-2-4 二年級幾何試題代號及分年細目表...34 表 3-2-5 二年級幾何試題代號與分年細目順序對照表...34 表 3-2-6 三年級數與量試題代號及分年細目表...35 表 3-2-7 三年級數與量試題代號與分年細目順序對照表...36 表 3-2-8 主機端之最低的硬體需求...37 表 3-2-9 使用者端之最低的硬體需求...37 表 3-2-10 使用者端相關的軟體功能需求...39 表 3-2-11 概念i和概念 j的精熟度關係之列聯表 ...43 表 3-3-2 施測對象...45 表 3-4-1 問卷資料表 ...60 表 3-4-2 使用者資料表 ...61 表 3-4-3 九年一貫數學學習領域分年細目資料表 ...61 表 3-4-4 題庫資料表 ...62 表 3-4-5 評量資料表 ...63 表 3-4-6 成績資料表 ...63 表 4-2-1 受試者在「幾何」主題的分年細目之平均精熟度...73 表 4-2-2 受試者在「數與量」主題的分年細目之平均精熟度...74 表 4-3-1 在「幾何」主題之能力值分組...76 表 4-3-2 在「幾何」主題上答對總題數相同卻反應組型不同的受試者...77 表 4-3-3 在「幾何」主題上答對總題數不相同...82 表 4-3-4 四年級在「數與量」主題上之能力值分組...87 表 4-3-5 在「數與量」主題上答對總題數相同卻反應組型不同的受試者...88 表 4-3-6 在「數與量」主題上答對總題數不相同...93 表 4-4-1 系統回饋問卷統計結果...100

(10)

圖次

圖 2-3-1 繪製出 ISM 圖形 ...19 圖 2-3-2 簡化前的 ISM 圖形 ...20 圖 2-3-3 簡化後的 ISM 圖形 ...20 圖 3-1-1 研究架構...31 圖 3-2-1 系統運作架構圖...39 圖 3-2-2 診斷分析方法之演算流程圖...40 圖 3-4-1 系統架構圖...48 圖 3-4-2 登入功能程式處理流程圖 ...49 圖 3-4-3 主選單功能程式處理流程圖 ...49 圖 3-4-4 新增使用者程式處理流程圖 ...50 圖 3-4-5 修改使用者程式處理流程圖 ...51 圖 3-4-6 刪除使用者程式處理流程圖 ...51 圖 3-4-7 查詢使用者程式處理流程圖 ...52 圖 3-4-8 重置使用者密碼程式處理流程圖 ...53 圖 3-4-9 查詢評量程式處理流程圖 ...53 圖 3-4-10 管理成績程式處理流程圖 ...54 圖 3-4-11 設計評量-系統選題程式處理流程圖 ...55 圖 3-4-12 設計評量-老師選題程式處理流程圖...55 圖 3-4-13 管理問卷程式處理流程圖 ...56 圖 3-4-14 刪除評量程式處理流程圖 ...57 圖 3-4-15 評量程式處理流程圖 ...58 圖 3-4-16 查成績程式處理流程圖 ...58 圖 3-4-17 改密碼程式處理流程圖 ...59 圖 3-4-18 寫問卷程式處理流程圖 ...59 圖 4-1-1 主畫面...68 圖 4-1-2 登入畫面(左圖為學生登入畫面，左圖教師管理畫面) ...68 圖 4-1-3 主選單(左圖為學生主選單畫面，左圖教師主選單畫面) ...68 圖 4-1-4 使用者帳戶功能...69 圖 4-1-5 重置密碼...69 圖 4-1-6 修改密碼...69 圖 4-1-7 填寫問卷 ...70 圖 4-1-8 查詢評量...70 圖 4-1-9 設計評量...71

(11)

圖 4-1-10 刪除評量 ...71 圖 4-1-11 受試者評量 ...71 圖 4-1-12 查詢結果...72 圖 4-1-13 知識結構分析功能...72 圖 4-1-14 知識結構分析功能...72 圖 4-2-1「幾何」主題表現之折線圖 ...73 圖 4-2-2 「數與量」主題上表現之折線圖 ...74 圖 4-3-1 知識結構之階層次序圖(說明範例) ...76 圖 4-3-2 知識結構之階層次序圖(受試者 A) ...77 圖 4-3-3 知識結構之階層次序圖(受試者 B) ...77 圖 4-3-4 知識結構之階層次序圖(受試者 C) ...79 圖 4-3-5 知識結構之階層次序圖(受試者 D) ...79 圖 4-3-6 知識結構之階層次序圖(受試者 E)...80 圖 4-3-7 知識結構之階層次序圖(受試者 F)...80 圖 4-3-8 知識結構之階層次序圖(受試者 G) ...82 圖 4-3-9 知識結構之階層次序圖(受試者 H) ...83 圖 4-3-10 知識結構之階層次序圖(受試者 I)...84 圖 4-3-11 知識結構之階層次序圖(受試者 J)...84 圖 4-3-12 知識結構之階層次序圖(受試者 K) ...85 圖 4-3-13 知識結構之階層次序圖(受試者 L)...86 圖 4-3-14 知識結構之階層次序圖(受試者 M) ...88 圖 4-3-15 知識結構之階層次序圖(受試者 N) ...89 圖 4-3-16 知識結構之階層次序圖(受試者 O) ...90 圖 4-3-17 知識結構之階層次序圖(受試者 P)...90 圖 4-3-18 知識結構之階層次序圖(受試者 Q) ...91 圖 4-3-19 知識結構之階層次序圖(受試者 R) ...92 圖 4-3-20 知識結構之階層次序圖(受試者 S)...94 圖 4-3-21 知識結構之階層次序圖(受試者 T)...94 圖 4-3-22 知識結構之階層次序圖(受試者 U) ...96 圖 4-3-23 知識結構之階層次序圖(受試者 V) ...96 圖 4-3-24 知識結構之階層次序圖(受試者 W) ...97 圖 4-3-25 知識結構之階層次序圖(受試者 X) ...97

(12)

(13)

第一章緒論

第一節研究動機

九年一貫課程在教育部公布後，已在全國中小學實施多年，然九年一貫課程的實施成效，不僅是教育界所關心的議題，也是社會大眾的焦點。在教學現場中，老師可依據分年細目來訂定教學目標，接著擬定與發展教學策略。就數學學習領域的分年細目而言，除了是老師在教學上規劃、設計課程的依據，也提供老師實施評量的準則。在學生的學習歷程中，測驗是其中一部份。不管是教學過程中實施形成性評量；或是教學活動結束後，實施總結性評量，都是評量學習成果的方法之一。但傳統紙筆測驗卻存在一些無法解決的問題。(一)用紙張印刷試題，測驗過後往往成為廢紙，但在倡導環保的現代，考量不必要的浪費下，比較不宜。(二) 通常規劃固定的時間及地點進行評量，有諸多限制，且較無彈性。(三)通常依學生的總分來評定學習成效。但事實上，分數一樣的學生，其學習瓶頸不盡相同，並且依心理學的觀點，每一位學生之學習有其特殊性，所以總分所提供的訊息，無法呈現概念的結構性，以暸解個別學生問題所在。(四)在傳統紙筆測驗後的反應組型 (response pattern) 上，無法提供老師即時、正確的資料，來掌握學生在各個數學層面的學習情況。基於以上四點，本研究針對不浪費紙張、評量彈性、可有效且即時了解與分析學生學習盲點的考量下，提出一套有效的分析診斷理論並建置成系統，能提供知識結構的訊息，並利用線上施測和即時分析來提供有效資訊，希望能彌補傳統測驗中無法立即了解學生問題癥結所在的缺點。讓老師及家長可掌握學生的學習成效，也利於輔助老師分析學生的知識結構之階層次序性，進而針對個別學生或全班進行補救教學，亦可以做為往後教學上的改進。結合九年一貫數學學習領域的分年細目，加上「網路施測與即時分析系

(14)

統」，可輔助老師進行網路施測，並即時分析學生的學習盲點。當學生接受施測後，由系統針對其作答反應組型分析，繪製出學生的數學學習領域分年細目之階層結構圖，供教師們可針對個別學生或全班，進行補救教學，進而提高學生的學習成效。

第二節研究目的

有鑑於上述動機，本研究提出一套有效的分析理論，並開發一套「網路施測與即時分析系統」，期能提供國小教師們一些必要之協助。本研究利用現今電腦快速且強大的處理效能，及跨平台網路協定等特性，建置友善的人機界面，採用三層式主從遠距測驗系統架構 (three-tier client/server distance testing system architecture)，並結合試題反應理論 (item response theory)、次序理論 (ordering theory) 以及詮釋結構模式 (interpretive structural modeling) 等理論，且依九年一貫數學學習領域分年細目，建置國小一到三年級的數與量、幾何等數學領域之題庫，因考量受測者(國小中低年級學生)的識字能力，故學生界面均採用圖形或國字加上注音的方法呈現。建置完成之後，可提供教師們挑選其欲測量的數學學習領域分年細目，並依人工或系統自動選擇試題。學生可使用網路瀏覽器 (browser)上網進行施測，不因時間與地點而有所限制，亦是所謂的隨時隨地施測。在施測結束後，系統將提供相關資訊，讓老師瞭解學生的學習狀況及學習瓶頸，作為老師們針對個別學生或全班進行補救教學及改善教學的參考依據。茲將研究目的歸納如下。 (一) 發展有效的知識結構分析理論，此方法主要結合試題反應理論、次序理論以及詮釋結構模式等理論。 (二) 根據上述理論，開發網路施測與分析系統，並依九年一貫數學學習領域分年細目，建置國小一到三年級的數與量、幾何等數學領域之題庫與施測系

(15)

統，進行實測並依系統所提供的精熟度和知識結構相關資訊，提供教師瞭解學生學習狀況。

(三) 探討教學者與受試者的使用經驗，進而評估此系統，提供未來研究的建議。

第三節名詞解釋

(一)試題反應理論

Lord (1980) 提出的試題反應理論 (item response theory)，已被廣泛使用於測驗的估算上，其理論建立在兩個基本概念：一、受試者在某一測驗試題上的表現情形，可由一組因素來加以預測或解釋，因這些因素在表面上是無法觀察上的，故這組因素就稱為潛在特質 (latent traits) 或能力 (abilities)，需藉由受試者在試題上的實際反應及表現，進行參數估計；二、受試者的表現情形與這組潛在特質間的關係，可透過一條連續性遞增的函數來加以解釋，即稱為試題特徵曲線 (item characteristic curve, ICC) (余民寧，1992a；Baker & Kim, 2004；Baker, 1992; Embretson & Reise, 2000; Hambleton & Swaminathan, 1985)。

(二)次序理論

Bart and Krus (1973) 所提出次序理論 (ordering theory)，主要是針對二元計分 (dichotomous)試題，根據列聯表的資料，進而計算先備條件 (precondition) 或次序性關係，在心理計量的相關研究中，次序理論主要應用於釐清兩道試題之間的先備條件之次序關係，也就是可利用次序理論的分析方法，去分析並呈現試題的先後順序性 (ordering) 或試題階層性 (item hierarchy)。

(三)詮釋結構模式

Warfield (l982) 提出詮釋結構模式(interpretive structural modeling)的分析法，可系統化表示整體元素之間的階層結構關係。此方法原本為運用於社會系

(16)

統工學 (social system engineering) 的一種結構模型法(structure modeling)，是以離散數學和圖形理論為根基，透過二維矩陣 (binary matrices) 的數學運算，呈現出一個系統內整體概念間的關連性，用來分析要素之間的關連順序，並可將其轉變為具體化、全面化的關聯構造階層有向圖，最後可自動產生一個完整的多層級結構化階層 (multilevel structural hierarchy) (許天維、林原宏，1994；鄭麗娜，2004； Warfield, 1982)。

(四)網路施測系統

在電腦與網路已成為生活一部分的今日，不論電腦的處理效能、儲存容量、系統穩定性及各方向皆有日新月異的發展，故利用電腦資訊能力來開發評量系統，降低施測成本，提高效率，已成為一種趨勢。也因為網路科技普及化，施測系統由單機施測，進化成區域網路的施測，再演變成以網際網路骨幹為主軸的施測系統，稱之為網路施測系統。其利用網際網路的普及性及便利性進行遠距施測，使評量在時間點及地點等方面更具彈性。主要是讓受試者在無遠弗屆的網路上，透過網路瀏覽器進行評量後，將反應組型儲存於系統資料庫中，並運用電腦高度運算的處理能力，做進一步的資訊分析。

(17)

第二章文獻探討

第一節試題反應理論

測驗可系統化呈現出受試者的某些潛在特質 (Allen & Yen,1979)。然一個優良的測驗不僅提供教師作為改進教學的診斷，還可藉由測驗的結果，得知學生的學習成效；更提供學生適當的回饋，並增強學生對教學目標的了解，激發出學習的動機。測驗理論 (test theory) ，亦稱為心理測驗理論，主要在於詮釋測驗訊息間的實證關係 (empirical relationships)。一般的學者將其歸類成二大學派：一為古典測驗理論 (classical test theory, CTT) ，主要是以真實分數模式 (true score model) 為基礎，其公式為X =T +e，公式中X 為受試者經過測驗得到的分數，即觀察分數 (observed score) ；T為受試者真實的能力值 (true ability)，e為測驗中所產生的隨機誤差 (random error) ，即受試者經過測驗得到的分數等於真實的能力值與誤差值之加總；另一為現代測驗理論 (modern test theory)，主要是以試題反應理論 (item response theory, IRT)為架構 (余民寧，1991)。

試題反應理論有以下的基本假設。 (一)單向度 (unidimensionality) 測驗試題都測量到同一種共同的能力或潛在特質；此單一能力或潛在特質(因素)包含在測驗試題裡的假設，就是單向度的假設 (余民寧，1992a)。 (二)局部獨立性 (local independence) 局部獨立性的涵義是指當受試者在某一測驗試題作答時，不受其它試題的影響，也就是受試者在任何一道試題上的反應是獨立的 (王寶墉，1995)。 (三)非速度測驗 (non-speeded test) 受試者無法作答完所有的試題，是受試者能力不足，而不是由於測試的時間不夠所致。 (四)知道-正確假設 (know-correct assumption)

(18)

在潛在能力特質之下，若受試者知道某一道試題的正確答案，他必然會答對該道試題；反之，若受試者答錯某一道試題，則他必然會不知道該道試題的答案 (余民寧，1992a)。

基本模式常用的為單參數對數模式 (one-parameter logistic model, 1PL) 、二參數對數模式 (two-parameter logistic model, 2PL) 與三參數對數模式 (three-parameter logistic model, 3PL)，每一種模式都依其採用的試題參數的數目多寡來命名，都僅適用於二元計分 (余民寧，1992b) 。分別臚列說明如下。 (一) 單參數對數模式單參數對數模式又可稱為 Rasch 模式。影響答對的機率函數之試題特性主要是試題難度，其公式如下。 ) ( ) ( 1 ) ( i i b b i e e P −₋ + = θ _θ θ (1) 其中 e：自然對數； _θ：受試者之能力值； i：試題編號； i b：第i題的難度參數； P_i(_θ)：能力θ答對第i題的機率函數。 (二) 二參數對數模式與單參數對數模式不同點在於試題多了鑑別度，而不同程度的鑑別度則會影響答對的機率函數。鑑別度越大的試題，對於分辦出不同能力值的能力越好 (余民寧，1992b)，其公式如下。 ) ( ) ( 1 ) ( i i i i b a b a i e e P −₋ + = θ _θ θ (2) 其中a_i是試題i的鑑別度，其他的符號意義與公式(1)相同。 (三) 三參數對數模式與二參數對數模式不同點在於試題多了猜測度，三參數對數模式的公式如下。 ) ( ) ( 1 ) 1 ( ) ( i i i i b a b a i i i e e c c P −₋ + − + = θ _θ θ (3)

(19)

其中c_i是試題i的猜測率，其他的符號意義與公式(2)相同。在試題反應理論與古典測驗理論之基本理論比較上，其中較明顯的差異有以下五項 (方秀惠，2003；余民寧，1991；黃國清、吳寶桂，2006； Hambleton & Cook, 1977)。 (一)在樣本的影響上在古典測驗理論中，難度指標就是受試群組答對該題的百分比，亦稱為通過率。鑑別度指標就是試題分數與測驗總分之相關係數。在此定義下，將表示隨著不同受試群組進行同一份測驗，因不同群組會有不同的能力表現，故估計出不同的試題參數值，這情形表示試題參數值有樣本依賴 (sample-dependence) 或團體依賴 (group-dependent) 的特性。在試題反應理論的試題參數值估計中，不會受樣本不同而有任何影響 (sample-free) ，不論難度或鑑別度，在經過不同被施測群組的測驗下，仍不受影響並保持不變。 (二)在難度參數值上在古典測驗理論下，受試者經過測驗得到的分數(公式中的X )會隨測驗的難度值不同而有所差異。換言之，受試者的得分係依測驗而改變 (test-dependent) ，故會導致不同受試者在接受不同的測驗後，得到的分數無法拿來直接比較。但在試題反應理論下，受試者的能力值不會因測驗不同而有不同影響 (item-free) ，亦指不同受試者在接受不同的測驗後，所估出來的能力值即可直接比較。 (三)在測量誤差的估計上在古典測驗理論下，不論多少受試者在接受同一份測驗，其測驗得到的分數 (公式中的X)都會具有相同的測量誤差，故無法得知受試者間的個別差異。而在試題反應理論中，因受試者能力值不同，會使測量誤差估算值也不同。 (四)測驗結果的分析在古典測驗理論下，一般測驗結果的分析，是由受試者在測驗中答對的試題給予以計分，卻沒有討論到每一道測驗難題的難度不盡相同。但在試題反應理論

(20)

中，會隨著答對的試題難度參數不同而不同，故在考慮試題難度的情形下，就算真實得分相同的受試者，其估計出的能力值也不一定相同。 (五)理論的假設方面古典測驗理論本身的假設為較弱的假設 (weak assumptions) ，故其理論模式運用與發展較廣，亦適用於大多數心理計量的測驗資料。然試題反應理論本身的假設為較強的假設 (stong assumptions) ，雖然限制了許多測驗資料的應用層面，但較強的假設卻可帶來較強的測驗結果 (方秀惠，2003；傅怡銅，2002)。試題反應理論與古典測驗理論之基本理論比較上，其中共通處有以下三點 (黃國清，2004；黃國清、吳寶桂，2006)。 (一)試題參數的分析兩種理論在進行試題分析時，若試題反應理論在只有難度值的單參數對數模式下，則兩種理論所估算出的難度值將呈現幾乎相同的極高正相關；同理，在計算試題的鑑別度時，試題反應理論若只考慮雙參數對數模式下的兩個參數，其推估出的鑑別度值a_i，應會與古典測驗理論所計算的鑑別度 (如點二系列的相關係數) 呈現高度正相關 (Lord, 1980 )。 (二)理論上的假設前提試題反應理論與古典測驗理論都是建立在有假設的前提下，其中「試題的單向度」與「知道-正確」這二項假設前提，對前述兩種理論而言，都是必要的假設前提。 (三)能力值及總分評估一致性對於受試者的能力值估算，雖然試題反應理論比古典測驗理論嚴密(例如受試者答對的總題數相同時，試題反應測驗理論亦能分辨出兩位受試者的能力高低)，但兩種理論所得的能力值及總分，對測驗而言具有一致性，都能有極高的正相關。根據上述的內容，古典測驗理論雖比較不夠嚴密，但其理論卻淺顯易懂，易於在實際測驗上實施，尤其是小規模測驗；而試題反應理論雖嚴密，但理論

(21)

較多數學艱深難懂的公式，並適用於大規模的樣本測驗。所以兩套測驗理論各有應用上的空間，雖各有所長，但也有不足及限制之處，故依據測驗的種類不同而做出適當選擇，才能有效提升測驗功能(方秀惠，2003；黃國清、吳寶桂， 2006)。試題反應理論的運用很廣，其應用領域也不同，分述如下。 (一) 結合電腦上的運用 1.類神經網路方面鄭海東 (1998) 嘗試使用類神經網路來估計適性測驗題目參數，並比較IRT 參數估計與類神經網路參數估計在不同樣本大小時，對題目參數估計之準確度。結果顯示，類神經網路估計的參數值接近IRT所估計的結果。而蔡志煌 (2000) 則是結合類神經網路及題目反應理論，實際建構出一套可在視窗作業系統下執行題目反應理論之參數估計系統。Wacgiwuak, Elmaghraby, Smolikova and Zurada (2001) 將通用迴歸類神經網路，成功運用於函數預估上。 2.電腦化適性測驗 Wainer (2000) 說明適性測驗的方法是給予難度適中的題目，由受試者作答之後，若受試者答對則給更難的題目，否則給予較簡單的題目，如此一來，不但可以快速逼近估計受試者的能力，亦可節省時間。 Weiss (1980) 出了第一本論電腦化適性測驗的論文集，內容是利用試題反應理論用於電腦化適性測驗的實例。而 Billy (1988) 研究結果發現學生接受電腦作為教學工具，其在空間測驗成績比紙筆測驗為教學工具來得高。蕭顯勝、黃啟彥、游光昭 (2005) 設計出適用於IRT模式的科技素養適性測驗題庫及系統，實施網路化適性測驗。而李村林 (2006) 指出，在電腦化適性測驗時，一旦有異常的猜測行為發生時，就會對能力估計值產生某種程度的影響。研究中再以 MSD方式分析猜測行為對能力估計值的影響，結果發現，即使僅有1次的猜測行為，也會對能力估計值造成約0.48的誤差。

(22)

3.認知診斷評量賴泳伶、洪燕竹、林居鶴 (2003) 說明認知診斷測驗，主要的目的是透過測驗的結果，分析學生對於教材中哪些概念不會，藉以提供教學評量回饋或補救教學的參考。葉俊谷 (2007) 開發「完成國小五年級數學課程之數常識電腦化診斷測驗系統」，分析學童在數常識中，各組成成份間的發展具有顯著之差異，並且比較及統整學生的學習迷思，並提供迷思概念類型。曹書豪、林原宏 (2007) 研發一套網路施測系統，繪製受試者知識結構之階層次序圖，可提供教師參考，有助於教師針對個別學生或全班進行補救教學，亦可以做為往後改進教學的參考。 (二) 大型測驗

例如基本學力測驗、美國的托福測驗 (TOEFL, Test of English as a Foreign Language)、多益測驗 (TOEIC, Test of English for International Communication)、 GRE (Graduate Record Examinations) 等。

黃鈺菁 (2001) 針對第二次正式施測北基等八區的「高職免試登記入學方案」英語科，進行分析，得到題庫中新題型達到預期的難度水準、具高鑑別度、符合良好試題特徵曲線與選項分析的要求，因此具有使用價值，所組成題本（整份測驗）的信度係數值均高於0.8，顯示題本的穩定性很高。此外，林妙香 (2007) 建議教育部誠實面對基測成績是作為分發入學依據而不是作為門檻功用，應該以常模意義的量尺分數型態 ( scale with property of normative meaning) 取代目前心測中心所用的量尺計分方式。 (三) 理論研究 1. 參數議題在相關研究上，常利用實徵資料與模擬資料相互比對的方式，去估算能力值或三個試題參數 (鑑別度、難度及猜測度)。趙素珍 (1998) 採用實徵資料與模擬資料並用的方式，利用三參數對數模式製

(23)

造二元計分資料，來測試BILOG-MG、ICCNP、MULTILOG、PARSCALE等四種 IRT軟體的實際應用情形及其參數估計精準度。在能力值的估計，發現三個試題參數皆為常態分配的模擬情境下，以BILOG-MG 和MULTILOG較適用，至於在試題參數值的估計，都以BILOG-MG的估計最為精確與穩定。鄭海東 (1998) 及蔡志煌 (2000) 則結合類神經網路及題目反應理論，執行題目反應理論之參數估計。而李銘峰 (2004) 提出一個模糊適性測驗受試者能力估計之模式，將模糊理論帶入項目反應理論，其作法是將受試者在答題過程中估計的能力給予模糊化，變成一種模糊數，利用模糊迴歸之運算估計受試者能力值。 2. DIF議題

DIF (Differential Item Functioning) 的研究著重於不同的性別、種族或地區等群體，其能力相同的受試者，在答對某一試題是否有所不同。

Lord (1980) 指出在不同的受試團體下，一個試題若具有不同的試題特徵曲線，則此試題具有DIF。若在DIF統計分析發現有DIF試題存在，即表示該試題可能對於某一群體有不公的現象。Dorans and Holland (1993) 兩組受試群體未經任何的配組程序，所觀察其表現差異，如兩組答對率有差異時，英文稱為impact，但兩組皆依受試的表現分成三種不同能力水準，若發現在各能力層，某一組受試答對率均高於另一組，這個試題實際上是對某一組有利，對另一組不利，即可進行DIF檢定。林明弘 (2000) 以 Kernel Smoothing 來估計試題特徵曲線，並以兩估計試題特徵曲線間的面積作為檢定DIF試題的指標，再配合隨機化檢定，來檢測DIF試題的存在與否。盧雪梅 (2007) 分析90到94年度國民中學學生基本學力測驗國文科和英語科成就，發現測驗中，國文科DIF有利男生者和女生者各半；英語科DIF則有利於女生。試題反應理論在測驗上的運用十分廣泛，不論是在測驗的過程中或是測驗後的分析上，皆有卓越的表現，尤其是電腦技術的成熟，縮減了試題反應理論的計算時間，也提供了更多的測驗方式來結合試題反應理論，本研究就是採用試題反

(24)

應理論作為基礎並結合電腦技術，所建置的一套「網路施測與即時分析系統」。

第二節次序理論

次序理論之基礎起源 Guttman 量表圖分析法 (Guttman scalogram analysis) 及線性量尺技術 (linear scaling technique) (Jansson, 1986; Guttman, 1944, 1950) 所發展出的一種測量模式，但是 Guttman 量表圖分析法只能運用於線性次序 (linear ordering)關係，如1⇒2⇒3 (Bart & Airasian, 1974)，無法分析非線性次序的關係；故Airasian and Bart (1973) 提出次序理論，一個可供分析線性與非線性次序關係的方法且在呈現的階層關係上能提供較多的資訊，然次序理論在用於驗證試題資料上與分析試題的邏輯關係上，有兩議題：(一)驗證兩道試題間假設的次序性 (hypothesized ordering)，確認試題間的階層關係。(二)當兩個試題間未假設次序時，能夠一般化試題的次序，以確認試題間是否有階層關係 (Airasian & Bart, 1973; Bart & Krus, 1973; Bart, Frey & Baxter, 1979)。

在心理計量的相關研究中，次序理論主要應用於衡量兩道試題間先備條件 (precondition) 之次序關係 (余民寧、陳嘉成，1987；林原宏，2005a，2006)。採用次序理論的分析，可呈現試題的先後順序性 (ordering) 或試題階層性 (item hierarchy) ，故常被用來定義、分析試題間結構的方法。

一般性的次序理論分析，可分為四個步驟 (Airasian & Bart, 1973)。

(一)以口頭及圖表繪製的方式描述假設的次序關係

例如試題i為試題 j的先備條件，即試題i 指向試題 j，並如圖2-2-1所示。

(25)

(二)說明試題的正確與不合理反應組型

假設兩道試題之間擁有次序關係，如二元計分中，試題i與試題 j，以答對(以 1 表示)和答錯(以 0 表示)來表示，其試題反應組型 (item response pattern) 包括(1,1)、(1,0)、(0,1)、(0,0)等四種。假設試題i為試題 j的先備條件，則(1,1)、 (1,0)、(0,0)是符合的反應組型 (confirmatory) ，表示試題i 指向試題 j，即符合「試題i為試題 j的先備條件」，若反應組型為(0,1)即為不合理

(disconfirmatory) 反應組型，表示試題i 不指向試題 j，即不符合「試題i為試題 j的先備條件」 (Bart & Krus , 1973; Bart, 1976)。

(三)繪製試題之列聯表與決定閾值 (threshold)

以上例說明，並統計試題i和試題 j間答對與答錯的人數並利用列表呈現，如表2-2-1 所示 (林原宏，2005a，2007；林原宏、游森期，2006；Lin & Chen, 2006)。表2-2-1 試題i和試題 j的答題人數之列表試題 j 1 0 總和 1 n11 n10 n1• 試題i 0 n01 n00 n0• 總和 n•1 n•0 N =n11+n10 +n01+n00 已知(0,1)為不合理 (disconfirmatory) 反應組型，表示試題i不指向試題 j，即不符合「試題i為試題 j的先備條件」，由於不合理反應組型的形成原因，可能發生於受試者的猜測、答錯或遺漏等情形，但在次序理論中假設性的測試過程是重要的關鍵且具決定性的，故允許特定小部分不合理反應組型的比值是合理的，稱為閾值，即容忍水準 (tolerancelevel) ε ，此容忍水準為不合理反應

(26)

組型所佔的百分比，且在假定次序性的測試中被認同的。

(四)計算不合理反應組型所佔的百分比，判定是否具階層次序關係

因此，根據表2-2-1，可定義不合理反應組型的所佔的百分比為 n₀₁/N ，且其範圍為0≤n₀₁/N≤1，且 n₀₁/N 愈小，表試題i愈可能為試題 j的先備條件。Airasian and Bart (1973) 以容忍水準 ε (0<ε <1) 決定試題i為試題 j是否有次序關係，而試題i為試題 j的次序關係如下。 1.若n₀₁/N <ε ，表試題i為試題 j的先備條件，亦表示試題i對試題 j有次序關係，且試題i對試題 j以線段連結。 2.若n₀₁/N ≥_ε ，表示試題i不為試題 j的先備條件，亦表示試題i對試題 j沒有次序關係，且試題i對試題 j沒有線段連結。因此，若假定容忍水準_{ε 為 0.1，即表示若有少於 0.1 的誤差反應組型 (0,} 1) ，則兩試題之間即擁有次序關係，意味著ε 值的決定將會決定是否擁有次序關係。至於_{ε 值大小的選定，學者提出一些看法，如 Bart and Krus (1973) 建議} 容忍水準ε 可取為ε =0.2；Airasian, Bart and Greaney (1975) 則建議可將ε 設定在0.05 到 0.1 之間；Jansson (1986) 認為若初探性研究且樣本不多的情形下，

欲套用此理論，則ε 值設定可以更小。但在實證研究中，ε 值可由研究者來決定，故本研究之系統將採用由使用者自行依其所需手動調整。

Bart, Frey and Baxter (1979) 指出次序理論並非只能呈現試題之間的難易關係，還可以在階層關係上提供訊息。林原宏 (2006) 依據次序理論，提出運用於解題規則階層結構的分析方法和柳橙汁濃度測驗 (orange juice test) 的實證研究下，發現次序理論能顯現出個別受試者的解題規則次序性，並且次序理論融合解題規則的分析，可以提供認知診斷參考之用。林原宏、游森期 (2006) 應用次序理論提出解題規則階層結構分析方法及圖形比較，並以柳橙汁濃度測

(27)

驗為實證研究問題，得到受試者的解題規則結構圖，並呈現個別受試者在解題規則次序上之特色，可作為認知診斷與補救教學的參考。李佳芸、林原宏 (2006) 針對學生於機率問題之解題規則分析，發現總分不同的學生在機率測驗，其解題規則階層結構性有差異，解題規則的次序性亦不同，故呈現個別學生解題規則次序性之差異；然總分相同的學生，由於其反應組型不同，在解題規則階層結構上，其認知結構及次序性不相同。林瑋詩、林原宏 (2006) 針對國小高年級學生於比例問題的解題規則，結果顯示總分不同的學生，在其比例問題解題規則階層具獨特意義。其反應組型不同，故其解題規則階層圖中，規則使用的次序性有所差異。林原宏、陳紹銘 (2006) 依據次序理論，進行等量公理的概念結構階層分析，其結果符合下位階層概念較易、上位階層概念較難之意義外，也呈現出各階層概念的次序關係。根據呈現的訊息，可提供概念診斷的依據。在教學現場，可依該班學生的概念次序階層結構，來設計補充教材和教學。林原宏 (2007) 指出二元計分的次序理論對於多元計分的資料有其限制，因此 Lin, Bart and Huang (2006) 將其二元計分的次序理論模式擴展為多元計分的次序理論模式。目前已將多元計分的次序理論模式運用於學童解決邏輯問題及國小數學認知診斷方面 (何欣玫、林原宏， 2008；林原宏、許芳郡，2007；施勝耀、李玉貞、林原宏，2007；許惠芳、林原宏，2007；黃莉雯，2007)。由相關文獻探討可得知，運用次序理論於概念結構階層分析方法，將呈現受試者的概念次序性之特色，亦可作為認知診斷的參考，了解受試者的概念次序性及概念階層結構。因本研究為電腦化測驗，題型皆為選擇題，宜採用二元計分。故本研究採用林原宏、游森期 (2006) 所提出的二元計分的次序理論模式分析方法。

(28)

第三節詮釋結構模式

Warfield (l982) 提出詮釋結構模式的分析法，可系統化表示整體元素之間的階層結構關係，此理論可以運用在教育學、行政學、社會學、心理學等領域。 Sato (l987) 提出此分析方法於認知結構，甚至教育心理研究方法論的量表中，蒐集所得到的潛在關係結構等，都可以應用詮釋結構模式進行分析，其理論說明如下。若欲分析系統內有K個元素，且已知其中任意兩元素A_i與A_j的二元關係，以A=(a_ij)_KxK表示。若aij =1，表示Ai從屬於Aj，即Ai為Aj的下階元素；若aij =0，表示即A_i不為A_j的下階元素。ISM 分析方法的要點為(林原宏，2005b；林原宏、陳進春、許天維，2005；許天維、林原宏，1994)。 (一)矩陣的運算兩個相鄰矩陣A的運算的結果如下。 KxK ij KK K K K K a a a a a a a a a a A ( (2)) ) 2 ( ) 2 ( 2 ) 2 ( 1 ) 2 ( 2 ) 2 ( 22 ) 2 ( 21 ) 2 ( 1 ) 2 ( 12 ) 2 ( 11 2 ₌ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = L M O M M L L (4) 2 A 矩陣內的元素運算用數學式表示如公式(5)所示。

∑

= = K k ik kj ij a a a 1 ) 2 ( kj ik j i j i a a a a a a ⊗ ⊕ ⊗ ⊕ ⊕ ⊗ = 1 1 2 2 L (5) 公式(5)中⊗和⊕的運算，定義如下。 ⎩ ⎨ ⎧ = = = ⊗ 1 1 1 0 y and x if else y x (6) ⎩ ⎨ ⎧ = = = ⊕ else y and x if y x 1 0 0 0 (7) 依公式(6)及公式(7)各別整理成表 2-3-1 及表 2-3-2。

(29)

表2-3-1 公式(6)的對應值表 ⊗ 0 1 0 0 0 1 0 1 表2-3-2 公式(7)的對應值表 ⊕ 0 1 0 0 1 1 1 1 (二)傳遞閉包 (transitive closure) 傳遞閉包為相鄰矩陣，經過一連串的自乘運算，所得到的新矩陣，令矩陣Aˆ 為傳遞閉包如下。 P A A A A Aˆ ₌ _⊕ 2 _⊕ 3 _⊕_L_⊕ (8) (三)可到逹矩陣 (reachability matrix) 由公式(8)，再乘以乘法單位矩陣I (其中矩陣I 為乘法單位矩陣)。若存在正整數P使得公式(9)成立，則把矩陣R稱為可到逹矩陣。 1 ) ( ) ( _⊕ ₌ _⊕ + = _A _I P _A _I P R (9) (四)ISM圖的繪製 ISM分析法，即從原始資料矩陣A，經過運算，求得矩陣R為止。以A₁至A₅概念元素為例，而這5元素之間的關係，以原始資料矩陣A及可到達矩陣R表示如下 (林原宏，2005b)。 ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 0 0 0 0 1 1 0 1 0 0 0 1 0 0 1 0 1 1 0 0 0 0 0 0 0 A ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 1 0 0 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 0 0 0 1 R 為便於繪製ISM圖，將矩陣整理規則如下。 1.首先令一個新矩陣為矩陣R(A_k)，其內容元素值，由矩陣R的元素值決定；若

(30)

矩陣R的元素值為1，則在矩陣R(A_k)相對應位置，填上所指向的元素代號；若矩陣R的元素值為0，則在矩陣R(A_k)相對應位置填上0，整理矩陣表示如下。 ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 5 5 5 5 4 4 4 3 3 3 2 1 1 1 1 1 0 0 0 0 0 0 0 0 0 ) ( A A A A A A A A A A A A A A A A A R _k 2.令一個新矩陣為矩陣M(A_k)，此矩陣為矩陣R(A_k)產生的轉置矩陣，其元素值若非0，則代替成該列元素代號，若元素值若為0，則保持為0，整理矩陣表示如下。 ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 5 5 4 4 4 4 3 3 3 3 2 2 2 2 2 1 0 0 0 0 0 0 0 0 0 ) ( A A A A A A A A A A A A A A A A A M _k 3.令一個新矩陣為矩陣R(A_k)∩M(A_k)，此矩陣為矩陣R(A_k)與矩陣M(A_k)的交集，其中若矩陣R(A_k)與矩陣M(A_k)的相對應位置上，若同時存在的元素代號，則填上該元素代號；兩矩陣相對應位置若不同時存在的元素代號，則填上0，整理矩陣表示如下。 ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ∩ 5 4 4 3 3 2 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ) ( ) ( A A A A A A A A M A R _k _k 4.比對矩陣R(A_k)和矩陣R(A_k)∩M(A_k)的每一列，找出兩者中列元素完全相等，將該元素所在兩個矩陣中的 (column) 與列 (row) 全部刪除。依本例子而言，

(31)

將先找到第一列元素A₁，則在矩陣R(A_k)、R(A_k)∩M(A_k)中A₁所在行與列全部刪除，並將刪除後的矩陣，重新整理並表示如下。 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = 5 5 5 5 4 4 4 3 3 3 2 0 0 0 0 0 ) ( A A A A A A A A A A A A R _k ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ∩ 5 4 4 3 3 2 0 0 0 0 0 0 0 0 0 0 ) ( ) ( A A A A A A A M A R _k _k 5.重覆執行上一步驟，直到所有元素皆被找出。重覆執行過程，呈列如下。 (1)第一次執行，將找到元素A₅，並得到新的矩陣，重新整理並表示如下。 ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = 4 4 4 3 3 3 2 0 0 ) ( A A A A A A A A R _k ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ∩ 4 4 3 3 2 0 0 0 0 ) ( ) ( A A A A A A M A R _k _k (2)第二次執行，將找到二個元素分別為A₃及A₄，並得到新的矩陣，重新整理並表示如下。

[ ]

2 ) (A A R _k = R(A_k)∩M(A_k)=

[ ]

A₂ (3)第三次執行，找出最後一個元素A₂。 6.將元素依找到的順序，由上向下排列，並依照矩陣A中的元素關係，在有關係的元素間畫上箭頭，完成如圖2-3-1(其中元素A₃及A₄，因同時被找出，故為同一階層元素)。圖 2-3-1 繪製出 ISM 圖形

(32)

7.為增加圖形的可讀性，故進行ISM圖型簡化動作，尋找元素之間的路徑關係，若存在二條路徑(path)以上，則刪除圖中直接指向的路徑，並保留間接指向的路徑。如圖2-3-2中，可發現A₂指向A₁({A₂ → A₃ →A₁、A₂ →A₁})與A₂ 指向A₅({A₂ →A₄ → A₅、A₂ →A₅})等不只一條路徑，故刪除圖中直接指向的路徑並保留間接指向的路徑，最後即可完成如圖2-3-3。圖 2-3-2 簡化前的 ISM 圖形圖 2-3-3 簡化後的 ISM 圖形 ISM 分析法在教育上的主要用途如下 (許天維、林原宏，1994)。 1.教材內容的結構化分析教學目標，再界定次要目標，最後決定出各單元間教材內容的結構。吳信義 (1998, 1999) 應用 ISM 分析法於「基本電學」科目，建立職業教育課

(33)

程設計教材之模式，並將其電腦化來協助與減輕教師在備課上之負荷。鍾靜蓉 (2002) 針對教師教導經濟學中「需求與供給」單元為實例，以 ISM 方法進行學習單元的結構分析，利用電腦軟體建構出學習單元的「學習地圖」 (learning map) 與「學習路徑」 (learning path)，自動將要素間的連線及高低層次關係在極短時間內繪製完成，亦能快速檢核是否與先前潛藏在人類認知中的「心智模式」相符。得知電腦化詮釋結構模式可節省心力且提高概念構圖的效益，並且圖形式 ISM 結構化教材可幫助精緻化的學習與記憶，減輕認知負荷。鄭麗娜 (2004) 在社會領域地理概念的研究上，利用 ISM 法畫出課程領域的地理概念階層圖，並據以規劃地理概念學習的最佳路徑與群組概念。 2.編授教材內容由教學者決定教材內容的目標層次關係，以由下往上累積元素關係的方式，此方式可幫助教學者檢視教學目標之間的順序關係。蔡曉信 (1992) 針對暑期進修班在職進修教師, 在課程中安排教導使用 ISM 分析法來提昇他們對 STS (Science-Technology Society) 看法，研究結果顯示 ISM 比敘述方式更能提高教師對真實生活中之 STS 主題的看法。彭淑珍 (2004) 應用 ISM 法，將特殊教育高職部職業教育課程中，有關於「洗車」、「廁所清潔」等擁有的職業認知、職業技能、及職業態度，加以規劃，並結構化的課程。 3.學習者知識的結構化以學習者本身的概念結構為主，在已知學習者概念元素彼此之間的關係時，可利用 ISM 分析法，以得到整體概念的結構圖。

林輝泉 (2004) 運用 ISM 的階層有向圖（hierarchical digraph）理論，描述教師投入資訊融入教學，其資訊素養各要素之前後順序。蔡秉燁 (2004) 利用 ISM 法，將高中數學教學共 27 個主題，90 個學習單元之補救教材，進行結構

(34)

化教材之設計，研究結果顯示，圖像式的階層結構化教材內容，有助於教學者確切掌握教材呈現的順序，並增進補救教學的效果。祝淑梅、林原宏、記順雄 (2006) 採用模糊取向詮釋結構分析法，去繪製出受試者個人化的小數概念階層，以便了解個別受試者的概念階層結構，並用於不同能力值的受試者 ISM 圖之比較與分析。施勝耀、林原宏 (2007) 在分析國小一到三年級學童在數學代數中，分年細目指標相關概念之階層結構，在實證研究下，發現運用模糊取向之詮釋結構模式，比傳統量化統計資料更加了解學生的概念階層結構。蕭丞凱、曹書豪、林原宏 (2007) 採用模糊理論與詮釋結構分析法，分析國小二年級受試者在「數與量」主題之概念，並繪製出受試者個人化的概念階層，以便了解個別受試者的概念階層結構。在其他方面，盧承德、蔡宗潔 (2005) 在問卷調查後利用 ISM 方法及模糊集合理論 (fuzzy set theory)進行彙整分析，獲得爭議類型與相關因素階層構造，作為土石爭議之參考。林原宏 (2005b) 結合試題反應理論、模糊理論 (fuzzy theory)與察覺的模糊邏輯模式(fuzzy logic model of perception, FLMP)，提出的模糊取向詮釋結構模式，計算不同能力值的受試者概念或試題間的模糊關係矩陣，以概念屬性截矩陣繪製出該受試者個人化的概念 ISM 圖。Lin, Wang and Chen (2006) 分析顧客對產品的多項需求間的相互依賴，利用 ISM 分析法以結構關係方式明暸的呈現出來。

由上述文獻，可得知詮釋結構模式運用很廣，尤其是在教育方面，Tatsuoka (1995) 認為概念要素具有關聯性，其屬性之間具有先備關係 (prerequisite relationship) ，因此應用詮釋結構模式分析知識狀態的階層性結構，將數學知識狀態以樹狀圖表現出來 (tree representation)；其後 Tatsuoka and Tatsuoka (1997) 將詮釋結構模式分析方法發展成電腦化認知診斷性測驗系統 (computerized cognitive diagnostic adaptive testing system) ，對補救教學有極大幫助。故可作為本系統繪製次序性階層圖表的基礎理論。

(35)

第四節網路施測系統

測驗的分類有很多種，就測驗的方式而言，有分傳統的紙筆測驗 (Paper-Based Testing, PBT) 及電腦輔助測驗；然紙筆測驗是以紙筆為工具的測驗方式，電腦輔助測驗分為二類，單機的電腦化測驗 (Computer-Based Testing, CBT) ，與近年來較興盛的網路化測驗。網路化測驗又可以分為區域網路測驗與網頁化測驗 (Web-Based Testing, WBT) 。而網路施測系統即屬於電腦輔助測驗，其融合電腦化測驗和網際網路兩者，亦稱為全球資訊網電腦輔助測驗 (World Wide Web Computer-Assisted Testing, W3CAT) 或線上測驗 (online testing) (張鑫安、游光昭、張炳雄，2006)。

McCormack and Jones (1997) 認為，電腦化測驗具備省時、即時回饋、減少資源浪費、易於保存記錄以及方便資料分析等特點。然而網路施測系統除了承襲電腦化測驗的優點外，還具備以下特色 (張鑫安等，2006；劉亞平，1998)。 (一)跨越時空的限制。 (二)加速資訊的流通與共享。 (三)營造個別化的測驗環境。 (四)將取代部份現有課堂評量或大型測驗。 (五)可異地合作建立題庫。網路施測系統優點如下 (林敏慧、管怡婷、郭榮學、許光凱、林曉楨、陳慶帆，2001；Sanchis, 2001)。 (一)提昇評量與批閱效率，讓教師能有較多時間在教學及研究上。 (二)便於教師蒐集受試反應資訊，以協助教師做試題參數分析。 (三)提供具一致性的評量準備與試題製作，使評量更趨於標準化。 (四)有利於發展網路多媒體測驗之呈現型態。 (五)減少紙上作業，降低人工作業出錯的機率。

(36)

(六)易於反覆練習，迅速提供評量結果與正確性的回饋資訊。 (七)個別化評量，不受時空地點限制。 (八)易於建立競爭式環境，提供學習動機與成效。 (九)受試者可藉由網路施測系統診斷所學，進而調整學習進度及內容，以規劃更有效益的學習並提昇求知興趣。在相關運用之研究中，Mark (1997) 認為在資訊科技方面，未來將有兩個技術會落實於測驗上。一是電腦模擬方式測驗，在多媒體及互動情境的技術精進下，更接近真實生活的模擬；另一個是人工智慧的運用，可以經由電腦自動判斷測驗的方式及進行測驗。黃朝恭 (2000) 建置一套線上測驗系統，針對國民小學國語科，採用多媒體的呈現方式，以評量讀、說、聽、寫、作能力。翁正雄 (2003) 建置一套線上測驗系統，經過實證測驗，發現家裡擁有電腦的學生，在傳統測驗與多媒體線上測驗有正相關；不同年齡層教師對電腦焦慮和線上測驗之態度有顯著差異；學生使用電腦的時間對電腦焦慮和線上測驗之態度有顯著差異。林榮政 (2004) 建立一套「線上動畫分數加減的補救教學系統」，是以知識結構為基礎，提供受試者在適性化測驗後，依其迷失概念，進行適性、即時的補救教學。Suh and Heo (2005) 在等值分數和分數加法的課程中，將資訊科技融入教學，發現以下兩點，一為採用資訊科技融入教學中，可以容易且清楚將圖像表徵 (iconic representation) 和符號表徵 (symbolic representation)聯結起來；二為採用資訊科技可以避免學習者在學習分數加法過程中，犯下常見的分數加法錯誤類型。陳威辰 (2006) 指出診斷系統透過遊戲的方式，進行測驗較能得到學童喜愛，用電腦語音來引導測驗的進行，能引起學童的興趣，而且對於測驗成績的即時性感到滿意。網路施測系統的發展，因電腦技術的提昇加上分析診斷理論的研發，在功能及分析上已有很大的進展。本研究就是利用這個優勢，進行網路施測與即時分析。

(37)

第五節九年一貫數學學習領域

(一)九年一貫概述

台灣以往的課程發展是一種「由上而下」的模式，教育部主導課程標準之修訂，國立編譯館編撰統一教科書的版本，學校、老師、學生使用一致的課本進行統一式的教學。隨著新世界新思維的來臨，因應世界各國教改之脈動，開始對此一模式展開檢討，首先是打破國立編譯館對教科書的壟斷；接著用「課程綱要」代替「課程標準」；同時用「學校本位」課程取代「知識本位」課程，以建立各校多元化的特色，並培養學生多元化的智慧，迎接新社會多元化的改變。民國九十年九月，從國小一年級開始實施九年一貫新課程，教育部強調要「鬆綁」，就是要將課程決策權下放到學校，尤其是讓教育第一線的教師參與決策，他們直接面對學生，因為他們的想法、聲音最接近實際面，應該給他們直接參與、選擇的機會。在九年一貫「由下而上」的課程改革模式中，期待讓老師恢復功力，提升教學專業技巧與專業地位 (戴月芳，2001)。九年一貫的第一個特色是「學校本位」，要讓老師以生活週遭為出發點，設計發展適合孩子學習的課程內容。Bruner 強調，知識的學習要經由具體、半具體到抽象。如果孩子學習的內容與週遭生活有距離，這種內容缺乏生活體驗，孩子是比較難接受的。九年一貫的第二個特色是「課程統整」，實施九年一貫課程之前，由於學科知識愈來愈分化，因此學科數及教學時數越來越多，造成學生龐大的學習負擔。九年一貫課程改革就是要將課程相近的知識，統整成為一個學習領域，避免課程太多、太難，進而減輕學生的學習壓力。九年一貫的第三個特色是「空白課程」，以往中小學每週的上課時間幾乎被各學科填滿，教師不但無法針對個別學生進行補救教學，學生在學習時間安排上也沒有喘息的空間。為了落實空白課程的精神與特性，特別規劃了彈性課程，

(38)

讓教師能自主的教學，學生也能開放的學習，期望能提升學習效果。九年一貫的第四個特色是「能力取代知識」，也就是要培養學生帶得走的能力，而不是背不動的書包。所謂家財萬貫 (知識取向)，不如一技在身 (能力取向)。以前的教育方式是「知識本位」，以分數論定孩子的學習成果，孩子只是讀死書、背多分，在解決問題的能力上卻明顯不足，無法與實際生活結合。迦納 (Gardner)提出「多元智慧」，指出每個孩子本身皆具有基本的能力，而教師要用自己的專業將孩子束縛已久的能力釋放出來，進而發展成自我的「優勢智慧」，除了肯定孩子，也讓孩子肯定自己。九年一貫課程揭示國民教育的學校教育目標在「傳授基本知識，養成終身學習能力，培養身心發展之活潑樂觀、合群互助、探索反思、恢弘前瞻、創造進取的健全國民與世界公民」。因此要培養學生具備人本情懷、統整能力、民主素養、鄉土與國際意識，並能進行終身學習，以適應二十一世紀社會的要求。因此國民中小學課程設計應以學生為主體、以生活經驗為中心，配合學生身心能力發展歷程；尊重個性發展，激發個人潛能；涵泳民主素養，尊重多元文化；培養科學知能，適應現代生活需要。為達上述理想，新課程擬定人與自己、人與社會環境、人與自然環境等三個層面的十項目標，並依據這十項目標，擬定現代國民必須具備的十種能力，作為課程設計的架構，分別是 (1) 了解自我與發展潛能。 (2) 欣賞、表現與創新。 (3)生涯規劃與終身學習。 (4) 表達、溝通與分享。 (5) 尊重、關懷與團隊合作。 (6) 文化學習與國際了解。 (7) 規劃、組織與實踐。 (8) 運用科技與資訊。 (9) 主動探索與研究。 (10) 獨立思考與解決問題。九年一貫課程除了整合原有的學科科目，並融入人權教育、兩性教育、資訊教育、環境教育、生涯發展教育和家政教育等六大議題，規劃出語文、數學、自然與生活科技、社會、藝術與人文、健康與體育、綜合活動等七大學習領域 (一、二年級將自然與生活科技、社會、藝術與人文合為生活領域)。課程規劃

(39)

重視各學習領域間橫的統整，也強調國中小學間縱的銜接。

(二)數學學習領域概述

本研究是結合九年一貫數學學習領域的分年細目進行研究，故僅針對該學習領域進行說明。 1.在國民小學階段的教學目標，歸納如下。 (1)培養學生的演算能力、抽象能力、推論能力及溝通能力。 (2)學習應用問題的解題方法。 (3)奠定下一階段的數學基礎。 (4)培養欣賞數學的態度及能力。 (5)在第一階段 (一至三年級) 能掌握數、量、形的概念。 (6)在第二階段 (四至五年級) 能熟練非負整數的四則與混合計算，培養流暢的數字感。 (7)在小學畢業前，能熟練小數與分數的四則計算；能利用常用數量關係，解決日常生活的問題；能認識簡單幾何形體的幾何性質、並理解其面積與體積公式；能報讀簡單統計圖形並理解其概念。在數學學習領域中包含「數與量」、「幾何」、「代數」、「統計與機率」和「連結」等五個主題，說明如下 (教育部，2003)。 1.數與量國小「數與量」主題的範圍較大，因此分為「整數」、「量與實測」、「有理數」和「估算」等四個子項。 (1)整數在國小階段，整數指的是非負整數，所處理的是離散量的計數與計算，並且整數計算是一切數學學習的基礎。 (2)量與實測

(40)

教學中的量包含長度、重量、容量、時間、角度、面積、體積等生活中常用的七種量。鍾靜 (1994，2001) 指出時間概念、時間的量感及其實測能力，不能從實物上開始培養及教學。在教學時間單元時，教材的架構理念只能從工具的使用及變化去感受，稱為「刻度上變化的相對性質」，此量稱為工具量，要從刻度的變化掌握這類「量」的相對量感。故除了時間外，其他的皆為絕對量感，可以從實物存在性質上入手的「量」稱為「感官 (實體) 量」。其中除了重量與時間外，皆屬於「幾何 (視覺) 量」，處理上可以依賴學生的幾何經驗，比較容易。重量的認識，除了依靠身體的感覺，也必須依賴測量工具。長度、角度是一維的量，面積是二維的量，體積、容量是三維的量，其中角度、面積和體積都與「形」的教材有關，這五種量都可透過視覺來掌握；而重量則是透過肌肉感覺來掌握。因此兒童對六種感官量的概念發展進度是有前後的，在進入間接比較之前，學童對該量的保留概念應大致建構完成後才能進行活動。在教材的設計上，每種量的認識及直接比較要有前後安排。就算同類量中不同普遍單位，例如：公分、公尺，學生對等量關係有所認知後，再進行化聚活動才有意義。 (3)有理數分成兩種形式─分數與小數；在應用方面分為平分、測量、比例、比率、比值、部份-整體等六種。分數是較高的概念，學習分數與乘除法、有理數、小數、線性函數是有密不可分的；分數可以是「部份-整體」的關係；「比」的關係：兩個量之間的比較關係；「商」的關係：兩數相除的結果；運算：分數可視為一種合成函數，如某數乘以 b a ，即可當作先增加a倍，再縮小b倍 (林碧珍，1990；劉秋木，

(41)

1996；劉祥通、周立勳，2001)。林孟嫻、劉曼麗、陳新豐 (2008) 提到在國小階段討論的「小數」範圍，是指一到三位的純小數與帶小數，並侷限於有理數範圍中的有限小數，故不包括循環小數和無理數。小學之小數學習順序先引入一位小數的概念開始，慢慢到二、三位小數的概念，最後是學習小數的四則運算。 (4)估算侯淑芬、劉曼麗 (2006) 指出估算，需透過具體物與實際操作來進行估測活動，以幫助學生有意義的了解數與運算。此外，要求學生在紙筆計算前先進行估算，以助其擺脫紙筆計算或算則的束縛，培養其靈活應用數與運算的能力。 2.幾何包括直線、圖形的邊緣、平行與垂直、對稱、全等操作、放大縮小、圖形識別等。李梓楠、鄭英豪 (2006) 認為國小階段的幾何學習主要採用操作取向，教學時教師介紹圖形的正規名稱，學生直接操作具體物體，認識並加以辨識幾何圖形，透過測量、摺疊找到角度與邊長的性質，並找到面積與體積的算則。 3.代數包括運用未知數作數學表示式、認識變數的概念、理解等量公理等，希望能協助銜接國中的代數教學。其次，代數的能力強調邏輯的推演，培養學生的抽象思考能力。 4.統計與機率在科技發達的新世紀，人們須經常面對多元的資訊。因此，如何擷取有意義的資訊，並加以解讀和分析，進而轉變成有用的資產，是追求知識經濟大時代裡應具備的重要能力。在此追求 e 化的世紀，數字是資訊表現的主要媒介，而統計方法則是解讀和分析數字資訊的重要工具。 5.連結

(42)

數學是依循嚴謹的邏輯程序而發展成的一個知識體系，它的特點在於能從問題的本質來探究其內在深層的結構。因此，數學敘述方式是一種抽象形式的語言，這種抽象性的本質是一般人學習數學的最大障礙。在國民教育的課程裡，如何協助學童擺脫數學形式規則的束縛，是編寫教科書及教師教學時所該注意的要點。具體來講，課程的設計應注重數學內在結構的連結，以及數學在生活情境上和其它學科 (例如自然科學) 的連結。針對數學認知診斷，劉曼麗 (2001) 指出數學診斷教學前，先運用數學知識分析教材，掌握學生可能會出現的迷思概念，並分析其可能成因，有助於教師掌握診斷教學時學生的臨場反應，並在澄清迷思概念後，應多以相似習題鞏固學生的概念。由以上的文獻探究中，可知教師掌握診斷教學時，學生的臨場反應和本研究中要探討的知識結構階層次序性相呼應，而知識結構階層次序性所提供的意義也須由教師掌握診斷教學時學生的臨場反應來建立，由此可知兩者之間是環環相扣的，所以本研究建置的系統將提供個別學生的知識結構次序圖，以利教師參考並運用，針對學生做補救教學。

(43)

第三章研究方法

第一節研究架構

依據研究目的，本研究分為兩大部份來探討，第一個部份是依據九年一貫數學學習領域分年細目，設計相關的試題，同時做網路測驗平台的系統設計與建置，結合知識結構分析方法來分析精熟度 (mastery) ，以試題反應理論分析試題參數，建構一個以網際網路環境條件下之測驗診斷分析系統。第二個部份是探討教學者與受試者的使用經驗，進而評估此系統，提供未來研究的建議。根據研究之目的，繪製本研究之研究架構，如圖3-1-1。圖 3-1-1 研究架構

(44)

第二節研究工具

本節分成「試題設計」、「系統硬體工具使用」、「系統軟體工具使用」、「診斷分析方法」、「使用者回饋問卷」五部份，說明如下。

(一)試題設計

因本研究為初探性研究，故由三年級向下建置起。本研究參考九年一貫數學學習領域一到三年級分年細目，並編製相關測驗試題共計34題，其年級及主題分佈表，如表3-2-1所示。表3-2-1 年級及主題分佈表幾何數與量一年級 _{10 -} 二年級 12 - 三年級 - 12 系統的所有試題參數已於系統建置前，經由大量樣本的紙筆施測估計出來，其樣本採用立意取樣，時間為95學年度下學期，對象為中部地區95學年度二年級學生815位、三年級學生1086位。每一道試題皆為四選一之單選題，測驗一到五項不同分年細目之概念。區分分年細目主要目的，在進行後續知識結構診斷時，便於分析不同能力值對概念精熟度之差異情形及兩兩概念間之關聯情形。在一年級的試題方面，因考量一、二年級在資訊技能上不精熟，並在實測上發現三、四年級針對一年級試題的概念上，其精熟度極高，在知識結構上無明顯差異，故本研究暫無將一年級試題納入研究內容。表3-2-2所示為二年級的幾何試題與試題參數表，表3-2-3所示為三年級的數與量試題與試題參數表，表3-2-4所示為二年級幾何試題代號及根據教育部所公布的分年細目表，表3-2-5所示為二年級幾何試題代

(45)

號與分年細目順序對照表，表3-2-6所示為三年級數與量試題代號及根據教育部所公布的分年細目表，表3-2-7所示為三年級數與量試題代號與分年細目順序對照表。表 3-2-2 二年級的幾何題號代號與試題參數表題號代號鑑別度參數難度參數 1 1.93405 -1.37464 2 1.62575 -1.19216 3 0.56125 -0.64494 4 1.04484 -0.59866 5 0.87986 -0.76139 6 1.73032 -1.20494 7 1.44892 -2.14631 8 2.61053 -1.59228 9 1.85367 -1.82797 10 1.17283 0.27537 11 1.68924 -0.40435 12 0.59958 1.46798 表3-2-3 三年級的數與量題號代號與試題參數表題號代號鑑別度參數難度參數 1 1.38392 -3.325 2 0.90666 1.12687 3 0.96127 0.20722 4 1.12233 -3.7954 5 0.90255 1.85309 6 0.71083 2.05519 7 0.93834 -2.20324 8 1.04626 1.57907 9 1.17446 -1.44159 10 0.75268 -2.05231 11 0.88507 -0.85766 12 0.88958 -1.41517

(46)

表3-2-4 二年級幾何試題代號及分年細目表試題代號分年細目分年細目內容 2-s-01 能認識周遭物體上的角、直線與平面(含簡單立體形體)。 1 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。 2-s-01 能認識周遭物體上的角、直線與平面(含簡單立體形體)。 2 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。 2-s-01 能認識周遭物體上的角、直線與平面(含簡單立體形體)。 3 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。 4 2-s-02 能認識生活周遭中水平、鉛直、平行與垂直的現象。 5 2-s-02 能認識生活周遭中水平、鉛直、平行與垂直的現象。 2-s-03 能使用直尺畫出指定長度的線段。 6 2-s-04 能畫出兩點間的線段，並測量其長度。 2-s-03 能使用直尺畫出指定長度的線段。 7 2-s-04 能畫出兩點間的線段，並測量其長度。 8 2-s-05 能認識面積，並作直接比較。(同 2-n-17) 9 2-s-05 能認識面積，並作直接比較。(同 2-n-17) 10 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。 11 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。 12 2-s-06 能由邊長關係，認識簡單平面圖形與立體形體。資料來源：教育部 (2003) 國民中小學九年一貫課程綱要數學學習領域表3-2-5 二年級幾何試題代號與分年細目順序對照表試題代號 1 2 3 4 5 6 7 8 9 10 11 12 2-s-01 1 1 1 0 0 0 0 0 0 0 0 0 2-s-06 1 1 1 0 0 0 0 0 0 1 1 1 2-s-02 0 0 0 1 1 0 0 0 0 0 0 0 2-s-03 0 0 0 0 0 1 1 0 0 0 0 0 2-s-04 0 0 0 0 0 1 1 0 0 0 0 0 分年細目 2-s-05 0 0 0 0 0 0 0 1 1 0 0 0

(47)

表 3-2-6 三年級數與量試題代號及分年細目表試題代號分年細目分年細目內容 1 3-n-01 能認識10000 以內的數及「千位」的位名，並進行位值單位換算。 3-n-08 能在具體情境中，做三位數以內的加減估算，並用來檢驗答案的合理性。 2 3-n-12 能認識長度單位「毫米」，及「公尺」、「公分」、「毫米」間的關係，並作實測與相關計算。 3-n-01 能認識10000 以內的數及「千位」的位名，並進行位值單位換算。 3 3-n-08 能在具體情境中，做三位數以內的加減估算，並用來檢驗答案的合理性。 3-n-09 能在具體情境中，初步認識分數，並解決同分母分數的比較與加減問題。 4 3-n-18 能利用間接比較或以個別單位實測的方法比較不同面積的大小，並認識面積單位「平方公分」。(同 3-s-05) 3-n-02 能熟練加減直式計算(四位數以內，和＜10000，含多重借位)。 3-n-06 能在具體情境中，解決兩步驟問題(加、減與除，不含併式)。 5 3-n-12 能認識長度單位「毫米」，及「公尺」、「公分」、「毫米」間的關係，並作實測與相關計算。 3-n-04 能理解除法的意義，運用÷、＝作橫式紀錄(包括有餘數的情況)，並解決生活中的問題。 3-n-05 能熟練三位數除以一位數的直式計算。 3-n-06 能在具體情境中，解決兩步驟問題(加、減與除，不含併式)。 3-n-10 能認識一位小數，並作比較與加減計算。 6 3-n-14 能認識容量單位「公升」、「毫公升」(簡稱「毫升」)及其關係，並作相關的實測、估測與計算。 3-n-06 能在具體情境中，解決兩步驟問題(加、減與除，不含併式)。 7 3-n-15 能利用間接比較或以個別單位實測的方法比較不同物體的重量。 3-n-10 能認識一位小數，並作比較與加減計算。 3-n-15 能利用間接比較或以個別單位實測的方法比較不同物體的重量。 8 3-n-16 能認識重量單位「公斤」、「公克」及其關係，並作相關的實測、估測與計算。

植基於數學學習領域分年細目之網路施測與認知診斷系統

國立臺中教育大學教育測驗統計研究所理學碩士論文

指 導 教 授：林原宏 博士