以知識結構為基礎的適性診斷測驗系統及降低猜測機制之研發

國立台中教育大學數學教育學系碩士班碩士論文

指導教授：郭伯臣 博士

以知識結構為基礎的適性診斷測驗系統

及降低猜測機制之研發

研究生：曾彥鈞 撰

中華民國九十六年一月

誌 謝

本論文能夠順利完成，要感謝許多人的幫忙，無論是在學業上、精神上，他 們都給予我很多的指導與協助，讓我在這段研究生活中，不但能夠在學識上有所 增長，更在生活態度上學得寶貴的經驗。 首先是我的指導教授郭伯臣 教授，在這段時間的由於他的悉心指導與協助， 我才能如期完成論文，順利畢業，十分感謝他的栽培與指導，帶領我進入研究的 領域。另外也要感謝台中教育大學多位教授在各方面的協助與指導，讓我受益良 多！ 再者，我要感謝的人是我的家人，給予我精神上的支持及鼓勵，讓我可以無 後顧之憂的完成學業，僅以我今日的成就獻給你們。 此外，我還要謝謝研究室的同學1 、學弟妹2 等一起陪我度過這段研究時光，在 過程中給予我的打氣與鼓勵。我也在此祝福你們一定都可以完成自己的心願，加 油囉！ 最後要感謝任職學校的同事們，有你們的包容與支持，讓我可以兼顧工作與 學業，順利完成碩士論文。 1. 同學們：典佑、暄博、育政、順閔、扶堂、佳慧、環源、柏豪、欣皓。 2. 學弟妹：育隆、智為、雅媛、珮璇、鈺卿、昇座、曜仲。

以知識結構為基礎的適性診斷測驗系統

及降低猜測機制之研發

曾彥鈞

國立台中教育大學數學教育學系碩士班

摘 要 本研究將建置「以知識結構為基礎之電腦適性測驗診斷系統」（簡稱 KSAT），提 供學習診斷報告，並強化後端管理功能，方便教師建置試題、與單元結構。除此之外， 本研究也將改良以順序理論為基礎的選題策略，降低受試者猜測度，以提升適性測驗 之預測精準度，並做相關分析比較。 本研究首先分析 KSAT 系統需求，並進行系統實作，待 KSAT 完成後，於國小實 際施測。另一方面，改良選題策略，並於 KSAT 上進行模擬實驗，以評估改良後的選 題策略之成效。研究結果摘述如下： 一、KSAT 可以滿足以知識結構為基礎的適性測驗所需之各項功能，且相關研究顯示 以 KSAT 系統進行之適性測驗可以有效節省施測題數，達到適性化的效果。 二、根據模擬實驗結果，改良後的選題策略可用較少的施測題數達到較佳的預測精準 度。 關鍵詞：試題順序理論、知識結構、電腦化適性診斷測驗、猜測度

A Study of Developing Knowledge Structure-based

Adaptive Testing System and Reducing Guessing Effects

Yen-Chun Tseng

Department of Mathematics Education

National Taichung University

Abstract

This study aims to develop the knowledge structure based adaptive testing

system(KSAT), provide learning diagnostic report and strengthen management functions.

Besides, this study will improve the item-selection strategy based on ordering theory to

reduce guessing effects. After KSAT was established, we tested it at elementary school, and

proceeded simulate experimentation to evaluate the efficiency of improved item-selection

strategy.

Findings of this research are briefly outlined as follows:

1.KSAT is helpful for the knowledge structure based adaptive testing at elementary

school, and .adaptive tests on KSAT can save items effectively.

2.According to results of simulate experimentation, the improved strategy can

imcrease the test speed and preserve prediction accuracy .

Keywords:

ordering theory, knowledge structure, computerized adaptive diagnostic test, guessing effects

目 次

中文摘要 ………i

英文摘要 ………...ii

目次 ………..iii

表次 ………...v

圖次 ………..vi

第一章 緒論 ………...1

第一節 研究動機 ..………..1

第二節 研究目的 ..………..2

第三節 論文架構 ..………..3

第四節 名詞解釋 ..………..3

第五節 研究範圍與限制 ………5

第二章 文獻探討 ………...………6

第一節 以知識或試題結構為主的電腦適性測驗.………6

第二節 應用試題順序理論之電腦化適性測驗.…...………….……9

第三節 線上測驗系統 ………...…..………….13

第四節 系統開發程序之相關理論 ………...…..………….14

第五節 電腦網路相關技術之探討 ……….……….18

第三章 研究方法與步驟...………...…………..21

第一節 研究方法………..………..………21

第二節 研究流程與設計………..………..………23

第三節 KSAT 系統分析與設計..………..…………24

第四節 研究工具 ………..……29

第五節 選題策略演算法實作………..……..……31

第六節 不同選題策略演算法之成效評估………..…..……36

第四章 研究成果與討論...……….37

第一節 各選題策略於低分學生群之預測精準度分析比較………37

第二節 各選題策略之預測精準度分析比較..………..43

第三節 KSAT 系統建置成果….…………..………..45

第五章 結論與建議 ……….……….…50

第一節 各選題策略於低分學生群之預測精準度分析比較………50

第二節 各選題策略之預測精準度分析比較..………….………….51

參考文獻 ……….………….…52

中文部分 ………....52

英文部分 ………54

附錄 ………...……..55

附錄一 模擬實驗結果………55

附錄二 系統相關介面………..………..64

表 次

表 2-1 試題 A、B 次數分配表………..9 表 2-2 試題 j 與試題 k 之聯合邊際機率……….10 表 2-3 系統發展方法的比較………18 表 3-1 康軒版五上數學領域各單元施測後資料分析…………..………..30 表 3-2 紙筆作答結果與電腦適性測驗結果之對照…………..………..32 表 3-3 預測精準度的計算方式……….…….…..36 表 4-1 不同閾值之選題策略預測精準度（全題學生）………..…………..41 表 4-2 不同選題策略於各單元的平均施測題數與節省百分比………..…………..42

圖 次

圖 2-1 適性測驗流程………7 圖 2-2 概念繼承關係圖………8 圖 2-3 專家知識結構圖..………11 圖 2-4 電腦化適性診斷測驗及適性補救教學系統進行流程圖………12 圖 2-5 瀑布式開發法………16 圖 2-6 雛型式系統發展法………17 圖 2-7 重覆加強式系統發展法………18 圖 2-8 三層式主從架構邏輯圖………19 圖 3-1. 研究流程圖………23 圖 3-2 系統架構模式………24 圖 3-3 適性化診斷測驗實施流程………25 圖 3-4 KSAT 模組架構………26 圖 3-5 帳號管理模組架構………27 圖 3-6 題庫管理模組架構………27 圖 3-7 學習診斷模組架構………28 圖 3-8 測驗統計模組架構………28 圖 3-9 利用知識或試題結構如何節省施測試題………31 圖 3-10 OT2 演算法實作流程………33 圖 3-11 OT3 演算法實作流程………34 圖 3-12 OT4 演算法實作流程………35 圖 4-1 不同選題策略在不同閾值的預測精準度變化（低分群學生）………38 圖 4-2 不同選題策略在不同閾值的答題數變化（低分群學生）………38 圖 4-3 不同選題策略在第一單元的預測精準度變化（低分群學生）………39 圖 4-4 不同選題策略在第三單元的預測精準度變化（低分群學生）………39

圖 4-5 不同選題策略在第四單元的預測精準度變化（低分群學生）………40 圖 4-6 不同選題策略在第五單元的預測精準度變化（低分群學生）………40 圖 4-7 不同選題策略在第六單元的預測精準度變化（低分群學生）………41 圖 4-8 不同選題策略在第七單元的預測精準度變化（低分群學生）………41 圖 4-9 不同選題策略在第八單元的預測精準度變化（低分群學生）………42 圖 4-10 不同選題策略在第九單元的預測精準度變化（低分群學生）………42 圖 4-11 不同選題策略在不同閾值的預測精準度變化（全體學生）………44 圖 4-12 適性測驗介面………45 圖 4-13 單元知識結構管理介面………46 圖 4-14 班級測驗結果統計查詢介面………46 圖 4-15 學生測驗結果查詢介面………47 圖 4-16 教材對照表………47 圖 4-17 學習診斷報告 1 ………48 圖 4-18 學習診斷報告 2………49 圖 4-19 錯誤題目解說………49

第一章 緒論

本研究主要目的在於建置以知識結構為基礎的電腦化適性測驗診斷系統，並改良 以順序理論為基礎的選題策略以降低學生猜測度。本章包括研究動機、研究目的、研 究方法與步驟、名詞釋義及研究範圍與限制等五節，茲分述如下。

第一節 研究動機

測驗與評量一直是教學過程中很重要的一環，透過測驗，可以反映出學生的學習 狀況，供教師做後續補救教學的依據。早期測驗方式，多以紙筆測驗形式進行，並仰 賴人工閱卷，近年來由於電腦科技的發達，許多測驗進行的方式已逐漸由傳統的紙筆 測驗轉變成電腦化測驗，用來評估學生的學習成效或學習歷程。 近年來，由於適性測驗理論的發展，電腦化測驗有了更重大的突破，可以針對不 同程度的受試者給予不同難易度的試題，且做答的題數減少很多即可測驗出學生能 力，近年來與網路的結合，更將電腦在測驗上的功效發揮到最大（黃朝恭，2000）。 電腦適性測驗(computerized adaptive testing, CAT)的優點為能依據學生不同學習狀 況，適當給予不同試題來進行測驗，如此不僅可以有效的節省測驗題數，亦可縮短測 驗時間，更能符合「因材施測」的原則。電腦化適性測驗大致可分為二大類：一類是 以試題反應理論(item response theory, IRT)為基礎；另一類則是以知識或試題結構為基 礎。 以 IRT 為基礎所進行的測驗，受試者成績為一「能力值」(ability) 或「量尺分數」 (scale score)，較適合用於教育資源分配情境，例如：基本學力測驗、大學入學測驗等， 並不適合用於診斷學生錯誤概念。因為只用分數來診斷學生錯誤概念，並不十分恰 當，因為兩個具有同一分數的人其錯誤概念未必相同，故使用以 IRT 為基礎的電腦適 性測驗來進行學習診斷，所提供的訊息並不適用於錯誤類型診斷。

根據郭伯臣（2003，2004，2005）的國科會專題研究「國小數學科電腦化適性診 斷測驗(I)(II)(III)」指出，將順序理論、試題關連結構分析法及 IRT 結合來分析學生知 識結構，並依據學生知識結構建立電腦化適性測驗，可以提供學童一個適性測驗及立 即的成績回饋，達到「因材施測」的效果。除此之外，並有相關研究顯示，這樣的電 腦化適性測驗確實可以節省施測題數，並有不錯的預測精準度（蔡坤穎，2004；何政 翰，2004；許志毅，2004） 然而，研究者在分析學生的作答情形後發現：在同一份試卷中，部分低分數學生 的電腦適性測驗成績，遠高過實際紙筆測驗之分數，表示電腦適性測驗的預測精準度 太低，這樣的差異結果值得加以探討並設法預防，以加強適性測驗系統之預測精準度。 除此之外，若要建立一個完善的線上適性測驗診斷系統，還應發展完整的題庫管 理系統、安全的認證機制、及時的學習診斷報告、完善的題庫資料及可編輯試題的機 制等。 因此，在指導教授的建議之下，本研究延續「國小數學科電腦化適性診斷測驗 (I)(II)(III)」的研究成果，建立一個以知識結構為基礎的適性化測驗診斷系統，期望這 樣的系統可以便利教師建立符合知識結構理論之適性測驗，以節省施測的時間，並提 升預測精準度，且提供個別學習診斷報告書，讓學生可以立即知道自己的錯誤觀念， 也有利教師進行補救教學，達到因材施教的目的。

第二節 研究目的

基於上述動機，本研究之研究目的分述如下： 一、 建置「以知識結構為基礎之電腦適性測驗診斷系統」（knowledge structure-based adaptive test system，KSAT），提供友善的後端管理介面，方便教師上傳測驗 資料、管理測驗題庫，並提供給相關研究者進行實際施測使用。

二、 依據學生的作答反應，產生個別學習診斷報告，讓學生瞭解自己的學習狀 況，並以此分類出不同的補救教學類型，以利教師進行補救教學或供學生自

我學習。 三、 改良以順序理論為基礎的選題策略，防止猜測，以提升適性測驗之預測精 準度。 四、 以實際測驗資料進行模擬電腦適性測驗，評估改良後的選題策略成效。

第三節 論文架構

本論文以建置 KSAT 為主要核心，並提出方法改善以順序理論為基礎的選題策 略，提升適性測驗之預測精準度。本篇論文分成五個部分，第一章說明為何進行這個 研究。第二章針對電腦化適性測驗、系統開發方法、電腦網路技術等相關文獻進行探 討。第三章說明研究的方法、進行研究的步驟、建置系統所需之設備等。第四章將呈 現經實際驗證之後的結果，提出探討、比較。第五章則提出這個研究所得到的結論與 未來發展方向。

第四節 名詞解釋

針對本研究常見的重要名詞，詳細說明如下： 一、電腦適性化測驗 本研究的電腦化適性測驗係採用網路介面的測驗方式，結合知識結構理論加 以施測。若受試者正確作答最上層概念的試題，代表已具備此概念和其以下之下 位概念，則進行下一試題施測；若受試者答錯，則下一題將選取其下位概念的施 測試題，透過這樣的選題方式，快速而精確的進行適性測驗，在最短時間內以最 少的施測題數找出受試者的迷思概念，診斷受試者的學習狀況。

二、Diagnosys 理論

Diagnosys 是由 Appleby, Samules, & Treasure-Jones（1997）所開發出來的，是 一種基於知識結構為基礎的數學概念電腦診斷測驗。

三、順序理論

順序理論(Ordering Theory; OT)由 Bart & Krus(1973)所提出，是一種探討不同 教學方式或是不同測驗之間的關係。

四、試題關聯結構理論

試題關聯結構(Item Relation Structure; IRS)是由 Takeya(1991)發表的一種討論 測驗的理論，可被用於定義兩題試題之間的順序關係。 五、專家知識結構 專家知識結構是由學科專家根據學理以及教學經驗，分析施測範圍內所需具 備的知識，再根據學生的學習歷程、概念發展順序及概念間上下位關係整理而成 的一種結構關係。在專家知識結構中，最上層的概念為此單元的最難概念，下層 則為各概念的下位概念。 六、學生試題結構 學生試題結構由學生紙筆評量作答情形估計而得，依學生作答反應情況，根 據試題結構演算法所得出的的概念發展順序及其概念間上下位關係的一結構關 係。

七、補救教學結構 以學生試題結構為主，參考專家知識結構及該教學內容之相關文獻，編製補 救教學節點。為了讓補救教學節點組織系統化，避免內容過於零散，將相關的知 識節點整併，訂出概念間有上下位次序關係的補救教學結構草案。再由專家進行 檢核，建立補救教學結構 八、預測精準度 預測精準度於本研究中是指：以紙筆測驗結果為基準，電腦適性測驗結果與 其接近之程度。

第五節 研究範圍與限制

在研究過程主要是以實證方式評估出最佳選題策略的方法，希望能有效降低猜測 度。然因為研究者資源不足的考量，僅收集自楊智為、張雅媛、郭伯臣、許天維（2006） 於康軒數學第九冊的紙筆測驗結果來加以實驗及論證。換句話說，在這樣的情況下所 推論出來的結果可能無法做廣義的推論。

第二章 文獻探討

本研究主要目的為發展以試題結構為主的電腦適性診斷測驗，因此本章節將針對 以知識或試題結構為主的電腦適性測驗、應用試題順序結構之電腦化適性測驗、系統 開發方法及之相關電腦技術加以闡述。

第一節 以知識或試題結構為主的電腦適性測驗

一、應用試題選項關係之電腦化適性測驗

Chang, Liu, & Chen (1998)曾以直流電路為例，設計一個診斷迷思概念之測驗系 統，做為教師補救教學之參考。在題庫建立方面，該研究參考相關文獻，訂出 9 個關 於直流電路的迷思概念 ，再根據這 9 個迷思概念，請專家們出了 20 個題目，每一 題目之錯誤選項被要求儘可能跟迷思概念有所關連。 該研究的重點在於假設有一份試卷，每題的選項除正確選項之外，其餘選項皆被 設計成與某一種迷思概念有關，如圖 2-1 所示。因此，今天若學生 A 作答第 4 題時， 選擇 4a 即可判斷學生可能擁有某一迷思概念且與第 6 題有關，故必須再進行第 6 題 的測驗來繼續作答。此時若學生面對的選項為 6a、6b、6c，且這三者分別代表不同的 迷思概念 M1、M2、M3，因此即可判斷出學生所擁有的迷思概念為何。若學生選擇 的是 4b，則可對應到迷思概念 M4，唯有選擇到 c 時才能確定學生沒有 M1 至 M4 這 四種迷思概念。

此方法優點為： 1. 根據受試者作答之選項來決定下一題試題，可達到適性化之效果。 2. 由受試者作答之選項來推論迷思概念，如果題目夠多，將可精確診斷出每一位 受試者之迷思概念，達到個別化之需求。 儘管優點是很明顯的，不過我們也發現幾個問題，例如： 1. 每條適性測驗路徑皆須精心設計以避免重複，而無法精確診斷出相對應之迷思 概念。 2. 出題時需考慮選項及迷思概念間關係，困難度高。 3. 當試題具有可猜測性時，不易達成精確診斷。 圖 2-1 Chang et al., (1998)適性測驗流程

除此之外，尚可利用概念繼承關係圖來尋找學生的補救學習路徑，因此蕭嘉琳 (2001)曾提出設計出互動式概念關係建立輔助系統，利用繼承關係圖診斷法，判斷學 生的學習障礙根源，給予學生適當的建議。但是單獨建立概念繼承關係圖是複雜且耗 費時間的，通常需要由相關領域的專家或專業教師，才比較容易建立一個較為客觀的 概念繼承關係圖。下方圖 2-2 所示是一個概念繼承關係圖。 圖 2-2 概念繼承關係圖（引自蕭嘉琳，2001） 從圖 2-2 可以觀察到相關學習路徑可能有：路徑 A：C1→C3→C6、路徑 B﹕C1 →C3→C7、路徑 C：C1→C4→C8→C10、路徑 D：C2→C4→C8→C10、路徑 E：C2→ C5→C9。因此我們可以發覺到 C1 與 C2 是這個概念繼承關係中兩個最上位的概念， 而每一個路徑都是一種學習模式，所以只要診斷出某一個節點，利用概念繼承關係圖 就可以快速的找出學生的補救學習路徑。 二、Diagnosys

Diagnosys 是由 Appleby et al. (1997)所開發出來的，是一種基於知識結構為基礎的 數學概念之電腦化診斷測驗，該系統設計時同時採用了專家知識結構和學生的知識結 構分析法，如此可以分兩階段節省試題。學生的結構的擷取乃透過專家知識結構編製

的紙筆測驗進行預測，並根據下列的方式所建構出來的。 AB f B A f f_AB B A f 假設兩題試題 A 與 B 間的次數分配如表 2-1 所示，其中 表示答對試題 A 且 答對試題 B 的人數； 表示答錯試題 A 且答對試題 B 的人數； 表 示 答 對試題 A 且答錯試題 B 的人數； 表示答錯試題 A 且答錯試題 B 的人數。 如果 B A B A f f >> ，則視試題 A 為試題 B 之上位試題（或概念），即如果正確作答試 題 B，則必能正確作答試題 A，反之則不一定成立。此種情形於本研究中標示成 A→B。如果 B A B A B A AB f f f f + >> + ，則試題 A 與試題 B 可視為等價，於本研究中標示成 A↔B。Diagnosys 藉由將試題（概念）結構引入電腦測驗中來達到適性的效果，並縮 短施測時間，但此一建立結構之方法並非操作型定義，且文中並未提及此方法之具體 成效或數據。 表 2-1 試題 A、B 次數分配表 試題 B 對 試題 B 錯 試題 A 對 f_AB

f

_AB 試題 A 錯 f_AB fAB

第二節 應用試題順序結構之電腦化適性測驗

為改進 Diagnosys 不足之處，「國小數學科電腦化適性診斷測驗(I)(II)(III)」（郭伯 臣，2003、2004、2005）將順序理論和試題關連結構分析法與試題反應理論結合來分 析學生知識結構，並分別使用專家知識結構與學生知識結構來建立電腦化適性診斷測 驗，以節省施測的題數並診斷國小學童的數學能力，提供學童適性、立即的成績回饋 與補救教學的建議，協助學童學會正確且完整的數學概念。詳細內容分述如下：

一、試題順序結構理論與試題關聯結構分析法

Airasian & Bart (1973)的「順序理論」(ordering theory, OT)及 Takaya (1991) 的「試 題關聯結構法」(item relationship structure analysis, IRS)常用來定義試題間的結構。將此 兩理論敘述於下： 2 1 n 令 表示一個向量包含 n 個二元試題成績變數，每一個受試者 作答n題得到一個 0 與 1 的向量 ) , , , (X₁ X₂ X_n X = _L ) , , , (χ χ χ χ = _L 之後，試題 j跟 k 的聯合邊際機率 如表 2-2 表示。 表 2-2 試題j 與試題k 之聯合邊際機率 試題 k 1 = k X Xk =0 Total 1 j X = P X( j=1,Xk=1) P X( j=1,Xk =0) P X( j=1) 0 j X = P X( _j=0,X_k=1) P X( _j=0,X_k=0) P X( _j=0) 試題 j Total P X( k=1) P X( k=0) 1 在 OT 中，令 表違反試題j為試題k之下位試題之機率，當 時，其中 ) 1 , 0 ( * _{= = =} k j jk PX X ε ε* <ε jk

ε

為一閾值(threshold)，常設定介於 0.02 及 0.04 間（0.02≤ε ≤0.04），則設定 試題j為試題k之下位試題，紀錄成X_j →X_k。 Takeya(1991)發現經由 OT 所得之受試者試題結構與試題間之相關係數有些情況 會產生矛盾，故提出試題關聯結構分析法，希望透過另一種測量試題順序結構 IRS 之 係數r 來定義試題到試題jk* k之間的順序關係，以修正 OT 之不足， * jk r 的定義為： ) 1 ( ) 0 ( ) 1 , 0 ( 1 * = = = = − = k j k j jk X P X P X X P r ( 2.1 )

若rjk ≥r，則設定試題 j為試題k 之下位試題，紀錄為 * j k X → X ，其中 r為一閾 值(threshold)，常設定為 0.5。在 OT 及 IRS 中，若X_j → X_k且 ，則兩者的關 係可以表示成 k X → X_j j k X ↔ X ，而且這樣表示試題j與試題k是等價的。 二、電腦化適性診斷測驗之知識結構 該研究根據專家知識結構或學生試題結構中各相關概念間之上下位次序關係， 減少施測題數。假設有一教材專家知識結構如圖 2-3 所示。在紙筆診斷測驗中需施測 圖中概念 A-I 所有試題，才能知道學生的學習情況，但在該研究之電腦化適性診斷測 驗中，受試者如果答錯概念 A 的試題，則需進一步測量概念 B、C 及其下位概念，以 了解學生之迷思概念為何；如概念 B 對、概念 C 錯，在電腦化適性診斷測驗中僅需 再施測概念 F、G、H、I 之試題，因此可節省概念 D、E 之試題。 A B C D E F G H I 圖 2-3 專家知識結構圖 三、電腦化適性診斷測驗系統 在郭伯臣（2005）的研究中提出，電腦化適性診斷測驗系統包含四個子系統：1. 多媒體題庫系統、2.適性測驗系統、3.補救教學分類系統、4.輔助學習模組。系統進行 流程如圖 2-4 所示，透過此系統將學生課堂後的評量與補救學習數位化及網路化，藉

此達到「因材施測」及「因材施教」。 上述系統除了具有 Diagnosys 的優點之外，其主要優勢在於分析學生知識結構的 方法具有較完善的數學理論基礎，並且能提供有利的補救教學。 圖 2-4 電腦化適性診斷測驗及適性補救教學系統進行流程圖 在郭伯臣（2004）的研究中使用專家知識結構、Diagnosys、OT 與 IRS 四種方法 來建 法預測精準度較難控制， （二） 受測試題 （三） s 結構，需要更多樣本才可以達到令人滿意的預測精準度， 2. 適性測驗系統 學生學習剖面圖 3. 補救教學分類系統 類別1 類別2 類別n 4.輔助學習模組 1 學生 1.多媒體題庫 系統 4.輔助學習模組 2 4.輔助學習模組 n 立結構，並評估所建立結構的成效，得到下列結論： （一）使用專家知識結構之電腦化適性診斷測驗演算 使用試題結構理論（OT、IRS、Diagnosys）之電腦化適性診斷測驗演算法， 可以藉由閾值控制結構，因此可獲得較令人滿意的精確度。 以 IRS 結構而言，閾值的增加，可以提升預測的精準度，不過 也會增加。 根據 Diagnosy 且在測驗速度的表現上較為緩慢。

（四） 其他結構的演算法而言是較不敏感 由上可 用知識結構分析法分析數學教材，將更能以組織化、階層性的方式 將概

第三節 線上測驗系統

在眾多關於線上測驗的研究中，重視的不外乎是評量的統計與回饋。如林昭汶 （20 （2002）的研究則發現一個完整的線上題庫與評量系統，需提供安全的認 證機 項： 定成電腦隨機出題、人工選題 對於 OT 結構，樣本數大小的影響相對 的，因此就適性測驗來說，以 OT 演算法為依據似乎是一個較為優良的選 擇。 知，利 念呈現出來。因此，建立數學教材內容的知識結構，將使得教師更能有邏輯性、 完整性的掌握課程內容，在教導學生時能減少遺漏的疏失，進而加快了解學童錯誤概 念的速度，迅速提供學生適宜的補救教學。 03）所提的關於程式語言線上測驗系統中，對於評量系統部分重視的就是學習管 理與學習評量。學習管理是用來追蹤及管理學習者的學習狀況，包括學習進度、評量 積分、討論積分、總積分、已學過的單元、需進行補救的單元、尚未學習的單元、發 表的文章、回應的文章、及老師所給的評量等。藉此功能，學習者可更了解自己的學 習成效；老師也可藉學習管理，掌握學習者的學習情形，給予學習建議。學習評量則 是學習者可在學習評量的功能中，上傳程式，並看到評量結果及診斷結果。學生可從 “學習評量＂的網頁中得到評量結果（各評量指標的分析結果，學生程式和個案程式 的比較）及由“學習管理＂的網頁中得到自己學習狀況的完整記錄及老師所給的學習 建議等。 簡瑞華 制、方便的使用者管理介面、完整的題庫管理、友善的試卷製作與管理、完善的 線上測驗、即時成績查詢與結果分析、互動的討論機制、即時的試題訊息等。 而李連順（2000）的國中生活科技線上測驗系統也強調教師的需求為以下幾 （一）提供教師下載、查詢及列印試卷的功能。 （二）提供教師編輯試卷的功能，試卷必須可以設

（三） 輯是非題、選擇題及填充題，同時還必 （四）提供試題轉換的機制，將教師現有的試題直接轉入系統資料庫內使用。 （六）提供成績處理的功能，協助教師統計學生成績並且可以查詢及輸出。 重在完善的管理系統、方便的使用介面、安全的 認證 驗診斷系統 （KS

第四節 系統開發程序之相關理論

一般資訊系統的建立是必須耗費大量的人力、時間與物力，且要有專業系統分析 與設 及能讓多位教師共同編輯試卷。 提供教師編輯試題的功能，包括編 須能上傳多媒體檔案，以製作多媒體試題；此外還要能分享試題以及能 自題庫新增試題。 （五）提供學生線上測驗的功能，必須可以設定帳號管制、測驗時間及測驗後能 得到立即的回饋，並且記錄學生測驗的結果。 （七）提供試題分析的功能。 由上可知，線上測驗的發展應著 機制、即時的評量回饋、完整的題庫資料及可編輯試題的機制等，並且應盡可能 發展出與選擇題不同形式的題型，以多樣化題目確實達到評量的效果。 根據以上的探討，本研究將建置以知識結構為基礎之電腦適性測 AT），以郭伯臣（2005）所提出的適性診斷測驗系統架構為基礎，並針對線上測 驗系統應有的功能加以補強，如：發展完整的題庫管理系統、安全的認證機制、即時 的學習診斷報告、完善的題庫資料及可編輯試題的機制等，並提供友善的後端管理介 面，方便教師上傳測驗資料。改進後的系統模組功能將於第三章第三節中加以說明。 計人才，因為在系統的建立過程之中，分析與設計的前置工作若沒有確實，可能 導致整個系統的失敗，所以必須存在一個方法，作為系統發展的依據（許元，1998）。 發展資訊系統由起始到完成的步驟與歷程，一般稱作為系統發展生命週期（system development life cycle, SDLC），由於每個資訊系統皆有其不同的特性，因此有關系統生 命週期的劃分與步驟，並沒有固定的標準模式。底下就瀑布式系統發展法、雛型式系

oyce 所提出，此發展法以系統層次為起點，經由分析、設計、 程式撰 集工作及定義系統任務的目標，找出所有可行方案，進行 言，需求分析的 一步擬 程式語言轉換成 主要針對前述的程式碼，進行一連串的驗證及證實的工作， 作後，可能由於錯誤、功能修改、軟硬體的更新， 統發展法、重覆加強式系統發展法分別探討如下。 一、瀑布式系統發展法 它為 1970 年為 R 寫、測試及維護等階段進行軟體發展程序，請參考圖 2-5，瀑布式系統發展法 為最古老而且至今仍為使用最廣泛的方法，其各階段的工作重點如下所述（許元， 1998；張大鈞，2001）： 1. 初步分析：進行蒐 可行性研究，找出最佳方案，並為最佳方案做成本效益分析。 2. 需求分析：是針對初步分析的需求做更深入的研究，一般而 重點在於瞭解系統需要什麼？通常必須確認系統的功能需求、資料需求、人機界 面需求、性能需求、軟硬體需求、安全及控制需求及系統配置需求等。 3. 軟體設計：主要的目的在於需求分析階段所確認的各種功能需求，進 出一份解決這個問題的方案。一個系統由模組所組成，模組本身提供了某項特殊 功能，藉由模組間的控制關係，來完成使用者所要求的功能。 4. 程式撰寫：主要工作為選擇合適的程式語言，利用所挑選的 真正的程式碼。 5. 測試：測試工作 確認是否符合系統之需求。 6. 維護：維護即當系統正式運 而對於原有的程式及文件進行修改。它可能進行更正性維護、適應性維護、完善 性維護及預防性維護等。

圖2-5 瀑布式開發法 二、雛型式系統發展法 雛型式系統發展法於 1984 年由 Boar 首先提出，如圖 2-6 所示，此種方法按照 使用者的初步需求，儘速完成一個雛型系統供使用者使用，之後再不斷地根據使用者 的意見進行系統的修改至使用者滿意為止之軟體系統開發方法。由於在新系統發展 時，使用者通常只能提出部分的需求，所以若採用雛型法則可以很快來瞭解使用者的 需求，並能隨時與系統發展者做適當的溝通，此種方法亦可以用來辨別使用者的動態 功能需求，或者將工作雛型評估修正成最終的軟體產品。雛型系統發展法過程可分為 需求分析、快速規劃、快速製作、建立雛型、評估修正及完成系統等階段，各階段的 工作重點如下所述（張大鈞，2001）： （一）需求搜集：開發者與使用者需一起討論並定義軟體的目標及所有的功能 需求，同時列出必須做深入定義的地方。 （二）快速設計：著重在使用者可看到的介面，如輸入輸出之畫面及報表等， 開發者須使用現有的程式模版或應用相關工具，如報表及格式產生器來 達成快速設計的目的。 （三）建構一套軟體雛型：完成一可執行的軟體雛型產品。 （四）評估需求：透過使用者的實際操作與需求評估，提出需求的調整。

（五）循環：透過上述的程序週而復始的執行，直到滿足使用者之需求，才繼 續進行後續分析，設計…等階段，因此開發者在此階段即能充分了解那 些功能是必須設計。 圖2-6 雛型式系統發展法 三、重覆加強式系統發展法 重覆加強式系統發展法又被稱遞增式系統發展法，它是採用步階增量的方式來發 展，額外的子系統功能是在每次增加的過程中被加入至軟體系統，並重新進行設計、 製作及雛型修正的工作，如此重覆增量直到所有子系統功能被加入系統為止，如圖 2-7 所示。 其工作步驟有三項： 1.建立處理控制清單、2.增量步驟、3.判斷處理控制清單是 否空白。根據許元（1998）的解釋：首先必需建立處理控制清單，它可定義整個系統 必須具備的所有應用系統功能，也可以瞭解到距離完成的系統還有多遠，且由增量步 驟中自處理控制清單尾端取一項分析工作，快速建立雛型，由學習者的評估結果獲得 修正的意見，它包含設計、製作及分析，其中設計部份可自選設計方法，製作方面則 需包括程式的撰寫及測試，分析則是經由使用者線上使用，並提供意見，經過評估後， 將所需的修正，放進處理清單的尾端。最後判斷處理控制清單是否空白，若是則整個 系統完成，若為否則重覆進行增量步驟。透過此種過程重覆不斷地實行之後，即可將 我們所需的功能附加於該系統中。

圖2-7 重覆加強式系統發展法 表2-3 系統發展方法的比較 從表2-3 的比較中，可以知道三種系統發展方法各有其優缺點。而本研究限於時 間的問題，無法採用瀑布式的系統發展法，且在人力及希望系統在完成後能符合使用 者需求的考量下，本研究的系統開發方法，將依雛型式系統發展法來進行。

第五節 電腦網路相關技術之探討

一個系統除了理論之外，還需要一些屬於電腦網路方面的技巧來將之實體化。本 系統的建立是基於希望能夠以最小的資源耗費，達成最大的經濟效益，因此，對於作 業系統的選擇，以較安全、穩定的 Linux 系統為平台，其餘相關開發工具也以穩定、 免費使用為優先考量。除此之外，本研究的 KSAT 系統乃是建置在網際網路環境之 上，因此採用網路三層式主從架構及資料庫與 Web 訊息傳遞。下面分別就各相關工

具介紹說明。 一、三層式主從架構資料庫技術： 這個架構主要在用戶端和伺服器端再加上一層中介層，成為三層的主從架構 （Client/Server）。在這三層的架構下，用戶端使用標準的通訊協定（如：TCP/IP）與 中介層溝通；中介層使用標準的資料庫通訊協定或資料庫中介軟體與後端的資料庫溝 通。三層式主從架構邏輯層的結構如圖 2-8，各層的任務有包含主要為使用者介面的 資 料 展 現 層 （ Presentation Tier ）、 包 含 操 作 資 料 的 處 理 邏 輯 層 又 稱 商 業 邏 輯 層 （Functionality/Business Tier）以及供應資料的存取服務的資料服務層（Data Tier）（黃 朝恭，2000）。：

由圖 2-8 得知，處理邏輯層透過 PHP（Hypertext Preprocessor）處理資料庫，並利 用結構化查詢語言（Structure Query Language，簡稱 SQL）來處理資料，也就是說它利 用 一 些 簡 單 的 句 子 構 成 基 本 的 語 法 來 存 取 資 料 庫 內 容 。 SQL 為 非 程 序 性 語 言 （non-procedural），它本身並不能單獨存在，需要依照每一行程式順序處理許多的動 作來存取資料庫（黃朝恭，2000）。 資料展現層 處理邏輯層 資料服務層 瀏覽器 Apache / PHP 資料庫(MySQL) 圖 2-8 三層式主從架構邏輯圖 二、開發工具 PHP（Hypertext Preprocessor）。這是一種被廣泛使用、多用途的開放原始碼腳本語 言(Script Language)，特別適合於網頁的開發，並可內嵌於 HTML 網頁中。除此之外

尚可應用在開發應用程式，為相當具有開發彈性的語言。PHP 主要使用於伺服器 (Server)端的動態網頁的開發，功能與 ASP(Active Serve Page)、JSP(Java Server Pages)、 Cold Fusion 等相似。加上 PHP 本身的語法類似 C/C++，具有親和易學的特性，所以 一般資訊人員或是其曾經接觸過他種程式語言者皆相當容易上手。在實作跨平台系統 時是非常好的工具之一，並且支援多種資料庫。其官方網站是 http://www.php.net。 三、資料庫系統 本研究所使用的資料庫為 MySQL，這是一套具有快速、多線性(multithread)、多 使用者且穩定的 SQL 資料庫伺服器，以主從式架構的方式來實現，並且透過一個伺 服程式 MySQL 及許多不同的用戶端函式庫的組成。加上執行基本 SQL 指令效率非 常迅速，與坊間常見的微軟 SQL(MS-SQL)及甲骨文(Oracle)等商業資料庫來比較是毫 不遜色，更重要的是 MySQL 在非商業用途上是免費的，並且支援中文大五碼(Big5)， 另外針對許多不同的平台也都有對應的支援，在安裝設定上面也是相當容易。這樣的 資料庫軟體對於軟硬體資源不豐富的中小學來說，的確是一項令人振奮的消息，因此 本研究的後端資料庫決定採用 MySQL。其官方網站是 http://www.mysql.com/。 四、網路伺服器

Apache 本身是一套自由軟體，但也是一套高效能的網站伺服器(Web Server)，目 前被廣泛運用在各種作業平台上面，穩定且消耗資源少，在網際網路的伺服器平台上

面是遙遙領先其他廠商。而且Apache 網路伺服器本身提供了相當多樣化的模組，系

統管理者可以從中挑選適合的部分予以安裝使用，擴充性相當強大，而且具有支援 PHP 的模組。其官方網站：http://www.apache.org。

第三章 研究方法與步驟

本研究旨在建立KSAT 系統，並藉由改良選題策略以提升預測精準度。根據本研 究之研究目的，本研究採用楊智為等人（2006）的紙筆測驗結果為模擬資料來進行研 究。 本章主要分為六個部分來說明整個研究架構。分別是：一、研究方法；二、研究 流程與設計；三、KSAT 系統設計；四、研究工具；五、演算法介紹；六、演算法成 效評估方式。

第一節 研究方法

根據研究目的與文獻探討的結果，本研究將實作 KSAT 系統，並改良選題策略， 以提升適性測驗之預測精準度。 為達成研究目的一，本研究以郭伯臣（2003，2004，2005）「國小數學科電腦化 適性診斷測驗(I)(II)(III)」所提出之電腦化適性診斷測驗系統（如圖 2-4）為基礎，參 考相關文獻探討，進行系統需求分析，並與使用本系統進行施測之研究者討論，進行 系統實作與修正。 為達成研究目的二，我們設計一份學習診斷報告書，在學生做完電腦化適性診斷 測驗後，系統根據學生的作答反應，進行錯誤類型診斷，並配合補救教學結構而產生 之。學生可經由學習診斷報告書了解自己的學習盲點，並進行線上適性補救教學，待 補救教學完成後，再一次進行電腦化適性診斷測驗（後測）。 為達成研究目的三，本研究嘗試改良選題策略，在學生答對上位試題後，於下位 試題中再找合適的題目加以檢測，以杜絕學生因猜中答案而影響施測結果之預測精準 度。

為達成研究目的四，本研究設計兩個實驗進行模擬，分述如下： 【實驗一】 目的：在樣本數為低分群學生（後四分之一）的情況下，探討不同樣本數對不同 的結構在預測精確度與施測題數上之影響。 方法：樣本為低分群學生，設定各選題策略之閾值為0.01～0.2 之間，來探討預測 精確度與施測題數的影響。 【實驗二】 目的：在樣本數為全體學生的情況下，探討不同閾值對不同選題策略在預測精確 度與施測題數的影響。 方法：樣本為全體學生，設定各選題策略之閾值為0.01～0.2 之間，來探討預測精 確度與施測題數的影響。 根據模擬研究實驗所得到的數據，從這些選題策略中挑選出表現最佳者來應用在 KSAT 的適性測驗出題模組。

第二節 研究流程與設計

本研究流程如圖 3-1。首先研讀相關文獻以擬定研究主題，而後就研究主題蒐集 相關資料做為理論基礎，接著一方面建置 KSAT 系統，一方面針對OT 選題策略進行 改良與設計。最後將收集到的紙筆測驗結果輸入系統內，並依設計之選題策略進行模 擬，並分析資料做出結論，最後撰寫研究報告。本研究所採用的紙筆測驗結果是楊智 為等人（2006）針對康軒數學 94 年版國小五年級上學期共九個單元進行實驗，每個 單元均有 630~660 個施測樣本。 相關文獻探究 針對所要進行的實驗 進行資料收集及分析 針對OT 選題策略進行改良與設計 演算法實作並驗證其正確性 將紙筆測驗結果導入KSAT 系統，進行模擬 資料收集與整理 資料比較與分析 結果與建議 KSAT 系統需求分析設計 KSAT 系統開發實作 KSAT 系統測試、修正 撰寫研究報告 圖 3-1 研究流程圖

第三節 KSAT 系統分析與設計

KSAT 系統採主從式架構，其模式如圖 3-2 所示。系統可區分為用戶端(Client Side) 及伺服器端(Server Side)：(1)用戶端：為使用者操作介面部份，使用者透過瀏覽器不受 時空的限制由遠端登入系統，經由 HTML 文件與伺服器端進行互動。(2)伺服器端： 作業系統採用 CentOS，資料庫伺服器採用 MySQL，用以執行觸發程序及存放本系統 之題庫、成績、使用者資料等。網頁伺服器軟體為 Apache，網頁伺服器端的語言為 PHP，並藉由 PHP 程式與資料庫進行連結。 圖 3-2 系統架構模式 測驗系統主要使用 PHP 程式語言來發展各項模組功能，另外在 PHP 的程式中也 會依據實際需要，結合 Html、JavaScript 等客戶端網頁程式語言，共同完成各模組的 功能需求。

本研究規劃之適性化診斷測驗實施流程如圖3-3所示。當進行適性測驗時，系統 根據學生所挑選單元，搜尋該單元內所有的概念試題，完成選取試題之後，將試題以 上下位關係放於待測試題陣列中，依序出題。每作對一題就從待測試題陣列中去掉該 題，記錄作答情形且排除該題之下位試題。一旦發生作答錯誤時，則從待測試題陣列 中選取下位試題，流程將持續到待測試題陣列清空為止。因此根據學生的作答情形， 每個人所接受的測驗題數不一定相同。 在待測試題陣列清空後，即停止施測，進行資料分析，產生學習診斷報告，並由 補救教學分類模組針對學生的錯誤類型進行判斷，將學生分類，進行多媒體補救教學。 圖 3-3 適性化診斷測驗實施流程 學生 適性測驗出題模組 _題庫 評估停止施測？ 否 是 資料分析 補救教學分類模組 類型2 補救教學1 補救教學2 補救教學n 類型1 類型n 產生學習診斷報告 ‧‧‧ ‧‧‧ 多媒體補救教學模組

KSAT 除了提供適性測驗之外，還有其他後端管理功能。對學生而言，可以參加 適性測驗、查詢學習診斷報告、接受多媒體補救教學等；對教師而言，可以安排測驗 單元、查詢整班測驗結果、管理學生帳號、編修題庫等；對管理者而言，可針對帳號 與題庫進行管理、安排測驗單元、系統建置與維護等。本系統的模組架構如圖 3-4。 帳號資料 試題資料 測驗結果 單元知識結構 題庫管理模組 多媒體補救教學模組 測驗管理模組 補救教學分類模組 適性測驗出題模組 學習診斷模組 測驗統計模組 學生 教師 管理者 帳號管理模組 圖 3-4 KSAT 模組架構

KSAT各模組之功能說明如下： 一、帳號管理模組：針對學生及教師帳號的新增與管理功能。 學生僅能對自己的資料做編輯修改；教師能修改自己的資料或依其權限來新 增修改學生的帳號；管理者則擁有管理全部帳號的權限，針對各帳號做新增及修 改的動作，並能設定帳號的權限。 除此之外，還提供批次處理、匯入匯出等功能，架構如圖3-5所示。 帳號管理模組 帳號匯入、匯出 帳號批次新增 、修改 帳號資料查詢 單一帳號新增 、編輯 圖3-5 帳號管理模組架構 二、題庫管理模組：針對單元的知識結構、試卷、試題等進行新增、修改、刪除。架 構如圖3-6所示。 題庫管理模組 單元知識結構 建立與編修 單元知識結構 搬移、複製 試卷新增、編修 試題新增、編修 圖3-6 題庫管理模組架構 三、測驗管理模組：針對測驗的實施進行控管，可依照學生所屬班級的不同，給予不 同的測驗。 四、適性測驗出題模組：依照該測驗的學生知識結構進行適性出題。每個學生因作答 反應不同，受測試題也不同，而達到適性出題、省題的目的。

五、學習診斷模組：依照學生的作答反應，進行學習成果診斷，可記錄、分析學生的 錯誤類型。架構如圖3-7。 學習診斷模組 學習診斷報告產出 歷來學習診斷報告 查詢 作答之錯誤類型 分析、紀錄 圖3-7 學習診斷模組架構 六、測驗統計模組：依照學生個人或班級進行測驗統計與查詢。 學習診斷模組 個人作答情形查詢 班級作答情形查詢 班級學習狀態統計 測驗結果匯出 圖3-8 測驗統計模組架構 七、補救教學分類模組：依據補救教學結構，將學生分至相關補救教學類型。 八、多媒體補救教學模組：根據補救教學分類結果，提供適當的線上多媒體補救教材。

第四節 研究工具

在針對系統所要達到的多樣化功能與特性進行評估之後，採用以下之研究工具： 一、系統建置平台 （一）資料庫：MySQL 5.0.18 （二）網站伺服器：Apache 2.2.3 （三）網頁語言：PHP 5.1.6 （四）作業系統：CentOS 4

（五）系統主機：IBM Xseries 206 Intel Pentiun4 3.0GHz/800MHz，記憶體 1GB，硬碟 160GB，硬碟傳輸界面為 SCSI UltraWide II，網路卡傳輸效率 100MB/S 的伺服 器平台。

二、開發工具

（一）PHP 程式編輯軟體：NotePad++

三、資料分析 本研究所採用的實驗資料是楊智為等人（2006）針對康軒五上數學共九個單元之 紙筆測驗結果。所有單元試卷均依郭伯臣（2003）所設計『以知識結構為基礎的適性 測驗命題流程』來進行命題。 在這些資料中，所有單元的試卷Cronbach＇s alpha信度皆在0.8以上，屬於信度佳 測驗，表2為康軒版五上數學領域各單元施測後資料分析表，如表2所示，第九冊第一 單元整數四則的施測人數共有662人，該單元的試卷Cronbach＇s alpha信度為0.891，學 生的平均通過率為82.551。 表 3-1 康軒版五上數學領域各單元施測後資料分析 單元 名稱 施測人數 題數 信度 平均 通過率 0901 整數四則 662 32 0.891 82.551 0902 重量和容量 627 34 0.911 86.338 0903 數列與圖形序列 664 35 0.843 77.837 0904 分數的乘法 659 37 0.92 84.232 0905 三角形 660 36 0.842 81.25 0906 因數與倍數 657 31 0.903 81.6 0907 時間的計算 660 36 0.929 85.875 0908 統計圖表 663 29 0.843 86.924 0909 體積和表面積 663 32 0.881 83.016

第五節 選題策略演算法實作

在郭伯臣（2002，2003，2004）的國科會計畫「國小數學科電腦化適性診斷測驗 (I)(II)(III)」中所開發的系統主要是利用試題結構來進行適性測驗，藉以節省施測題 數，茲以圖3-9 來說明： 假設要瞭解學生學習某單元後之剖面圖需要以試題A 到 J 來進行測量，在傳統紙 筆測驗中試題A 到 J（共十題）皆需施測。假設有一試題順序結構如圖 3-9 所示，其 中B→A 表示試題 A 為試題 B 之上位試題，如果答對試題 A 則試題 B 也會答對，以 試題順序結構為基礎之適性測驗流程中，如學生答錯A 試題則需進一步測量試題 B、 C 及其子試題，以診斷學生之真正迷思概念。如 C 對 B 錯，則認定 C 下之所有試題 蘊含的概念皆已精熟，不必再測，僅需再施測D、E，可節省 F、G、H、I、J 五題。

A

B

C

D

E

F

G

H

I

J

圖3-9 利用知識或試題結構如何節省施測試題

然而，經研究者觀察部分學生的傳統紙筆測驗作答結果與相對應之電腦適性測驗 結果後，發現值得探討之處，而引發改良選題策略的想法。說明如下： 假設有一學生的紙筆作答結果及對應之電腦適性測驗結果如表3-2 所示，參考圖 3-9 之試題結構可知，由於 C 試題答對，所以 F、G、H、I、J 均省略而未施測。但是 對照紙筆作答結果發現：F、G、H、I 試題均預測錯誤，整個電腦適性測驗結果之預 測精準度僅60%，這樣的結果與圖 3-9 之試題結構不符，表示學生在 C 試題可能是猜 對的（每一題有四個選項，則學生猜中的機率約有四分之一）。因此，研究者希望在 原本的選題策略下，再加上防止猜測之機制，以避免學生因猜對答案而導致預測精準 度下降。 表3-2 紙筆作答結果與電腦適性測驗結果之對照 各試題作答情況 A B C D E F G H I J 紙筆作答 結果 X X ○ ○ X X X X X ○ 電腦適性 測驗結果 X X ○ ○ X ● ● ● ● ● ○：對 X：做錯 ●：因上位概念對，預測該題也會對而省題 為了盡量避免上述例子的發生，我們可以針對原本以知識結構為基礎的選題策略 加以改良，在學生答對上位試題後，於下位試題中再找合適的題目加以檢測，以杜絕 學生因猜中答案而影響施測結果之預測精準度。現將本研究設計的改良演算法說明如 下：

一、「下位概念連線數」演算法 說明：如果做對 A 試題，則在 A 試題的下位節點中找一題「下位概念連線數最 多」的試題進行檢測。若答對，則 A 試題以下的所有下位試題均認為預測正確；若 答錯，挑選其餘下位試題進行施測。將此演算法簡稱為 OT2，實作流程圖 3-10 所示。 系統提供A 試題 答案是否正確？ YES 從該試題下位試題中選擇「下位概 念連線數最多」的 B 試題施測 答案是否正確？ YES 將A 試題剩餘之下位試題 全部預測為答對 是否滿足終止條件？ YES 結束出題 NO 選擇其餘待測試題 NO 選擇 下位概念 試題施測 是否有下位試題？ YES NO NO 圖 3-10 OT2 演算法實作流程

二、「下位概念難度」演算法 說明：如果做對 A 試題，則在 A 試題的下位節點中找一題「難度最高」的試題 進行檢測（此處所指難度為古典測驗理論中之難度，亦即通過率）。若答對，則 A 試 題以下的所有下位試題均認為預測正確；若答錯，挑選其餘下位試題進行施測。將此 演算法簡稱為 OT3，實作流程圖 3-11 所示。 系統提供試題 答案是否正確？ YES 從該試題下位試題中選擇「難度最 高」的一題施測 答案是否正確？ YES 將試題剩餘之下位試題 全部預測為答對 是否滿足終止條件？ YES 結束出題 NO 選擇其餘待測試題 NO 選擇 下位概念 試題施測 是否有下位試題？ YES NO NO 圖 3-11 OT3 演算法實作流程

三、「結合下位連線數與難度」演算法 說明：如果做對 A 試題，則在 A 試題的下位節點中找「下位概念連線數最多」 及「難度最高」的試題各一題進行檢測。若兩題均答對，則 A 試題以下的所有下位 試題均認為預測正確；否則，挑選其餘下位試題進行施測。將此演算法簡稱為 OT4， 實作流程圖 3-12 所示。 系統提供A 試題 答案是否正確？ YES 從A 試題下位試題中選擇「下位概 念難度最高」的 B 試題施測 答案是否正確？ YES 將A 試題剩餘之下位試題 全部預測為答對 是否滿足終止條件？ YES 結束出題 NO 選擇其餘待測試題 NO 選擇 下位概念 試題施測 是否有下位試題？ YES NO NO 從A 試題下位試題中選擇「下位概 念連線數最多」的 C 試題施測 答案是否正確？ YES NO 圖 3-12 OT4 演算法實作流程

第六節 不同選題策略演算法之成效評估

上述所定義的幾個演算法是以「預測精準度」做為其評估的標準，所謂「預測精 準度」於本研究中是指以紙筆測驗結果為基準，電腦適性測驗結果與其接近程度。換 句話說，藉由預測精準度的計算以提供本研究一個實證的方式，而預測精準度的計算 方式如下所示： 表 3-3 預測精準度的計算方式 其中 代表電腦適性測驗結果為 ，而紙筆測驗結果為 的事件數目。而預測 精準度的概念即是電腦適性測驗的結果應該和紙筆測驗的結果是一樣的，也就是在這 樣的概念下，得到如式子(3.1)的通式。式子(3.1)中的 即是測試資料數目。本研究

所謂的測試資料是藉由5-fold cross validation 的方式來作重複性的測試與評估。

ij

f

i

j

N

電腦適性測驗的優劣可由作答情形的預測精確度及施測題數等兩方面加以評 估，通常精確度越高，施測題數越少則越好，但兩者間很難兼顧。而本研究藉由計算 預測精準度的方式求出各演算法下預測精準度的結果，並加以比較，最終目的在於歸 結出最具有防止猜題機制的選題策略。 電腦適性測驗結果 紙筆測驗結果 對 (1) 錯 (0) 對(1) 11

f

f

10 錯(0) 01

f

f

₀₀ 辨識率=

N

f

f

₁₁

+

₀₀ (3.1)

第四章 研究成果與討論

本研究目的在於建置 KSAT，並改良選題策略以降低學生猜測度。為了檢視改良 後的選題策略成效，研究者設計了兩個實驗來加以驗證，實驗一、實驗二的結果分述 於第一節、第二節中，第三節則說明 KSAT 建置成果。

第一節 各選題策略於低分學生群之預測精準度分析比較

底下以康軒數學第九冊第二單元為例，實際紙筆測驗資料引用楊智為等人（2006） 的研究，至於其他單元的模擬結果列於附錄一中。 為了簡化描述，在第四章的圖表中，OT 表示原本的 OT 選題策略，OT2、OT3、 OT4 為改良後的選題策略。其中，OT2 表示「下位概念連線數」演算法；OT3 表示「下 位概念難度」演算法；OT4 表示「結合下位連線數與難度」演算法。

[實驗一]的樣本是針對低分群學生（後四分之ㄧ），第二單元的樣本數為 157 人。

在何政翰（2004）的研究中指出，OT 只需 50 人以上的樣本數即可達到 95%的預測精 確度，故本實驗的樣本數是足夠的。

由圖 4-1、4-2 可發現：在相同的閾值下，OT2、OT3、OT4 均較 OT 有較高的預 測精準度，相對的，其平均施測題數也較 OT 高，以低分群學生的作答反應來看，我 們要做的是防止猜測的機制，故施測題數較高是可以接受的。 由圖 4-1 可看出，OT4 的預測精準度一直可以保持在 0.8 以上；OT 在閾值 0.2~0.12 時，預測精準度都不到 0.7；而 OT2、OT3 的預測精準度相仿，介於 OT4 與 OT 之間。 第二單元 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2 閾值 預測精準度

OT OT2 OT3 OT4

圖 4-1 不同選題策略在不同閾值的預測精準度變化（低分群學生） 第二單元 0.00 4.00 8.00 12.00 16.00 20.00 24.00 28.00 32.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.20 閾值 答題數

OT OT2 OT3 OT4

底下以康軒數學第九冊全部單元為例，圖 4-3～4-10 分別列出 OT、OT2、OT3、 OT4 的預測精準度變化情形。觀察圖 4-3～4-10 發現：在同一閾值下，OT4 比 OT、OT2、 OT3 有更高的預測精準度。針對低分群學生來說，以 OT4 來做為降低猜測度的機制， 可以有效提升預測精準度，為最佳的方法。 第一單元 0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

圖 4-3 不同選題策略在第一單元的預測精準度變化（低分群學生） 第三單元 0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

第四單元

0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

圖 4-5 不同選題策略在第四單元的預測精準度變化（低分群學生）

第五單元

0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預設精準度

OT OT2 OT3 OT4

圖 4-7 不同選題策略在第六單元的預測精準度變化（低分群學生） 第六單元 0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

第七單元

0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 0 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預設精準度 1.00

OT OT2 OT3 OT4

第八單元

0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

圖 4-9 不同選題策略在第八單元的預測精準度變化（低分群學生）

第九單元

0.600 0.650 0.700 0.750 0.800 0.850 0.900 0.950 1.000 0.01 0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19 閾值 預測精準度

OT OT2 OT3 OT4

第二節 各選題策略之預測精準度分析比較

底下以康軒數學第九冊第二單元為例，樣本數為 627，[實驗二]結果之相關數據 與圖表如表 4-1 及圖 4-11 所示。從表 4-1 可發現：當 OT 預測精準度接近 95%（0.945， 閾值為 0.06）時，在相同的閾值下，OT2、OT3、OT4 的預測精準度已分別可達 0.955、 0.955、0.971，此時 OT2、OT3、OT4 的平均施測題數是 13.389、13.439、16.317，若 OT 的預測精準度要達到 0.955、0.955、0.971，則平均施測題數要 14.617、14.617、17.992， 均較 OT2、OT3、OT4 所需的施測題數多，可見改良後的選題策略（OT2、OT3、OT4） 均可以較少的施測題數達到較佳的預測精準度，其中以 OT4 表現最佳。 表 4-1 不同閾值之選題策略預測精準度（全題學生） 預測精準度 平均施測題數 總題數 閾值

OT OT2 OT3 OT4 OT OT2 OT3 OT4 32 0.01 0.999 1.000 1.000 1.000 31.008 32.000 32.000 32.000 32 0.02 0.997 0.998 0.998 0.999 28.525 29.710 30.019 30.043 32 0.03 0.988 0.993 0.993 0.995 24.450 26.528 26.791 26.864 32 0.04 0.972 0.980 0.978 0.984 17.992 20.968 20.737 21.314 32 0.05 0.957 0.966 0.965 0.975 14.617 16.850 16.777 17.392 32 0.06 0.945 0.955 0.955 0.971 11.761 13.389 13.439 16.317 32 0.07 0.939 0.948 0.949 0.962 11.148 12.646 12.652 13.555 32 0.08 0.924 0.938 0.937 0.948 7.550 10.134 10.054 10.665 32 0.09 0.917 0.931 0.931 0.948 6.536 8.223 8.274 9.150 32 0.1 0.906 0.921 0.922 0.936 4.568 6.354 6.368 7.108 32 0.11 0.899 0.914 0.914 0.929 3.640 5.391 5.415 6.142 32 0.12 0.892 0.911 0.913 0.925 2.636 4.565 4.665 5.289 32 0.13 0.888 0.908 0.904 0.927 1.946 3.882 3.721 4.874 32 0.14 0.889 0.905 0.903 0.924 1.976 3.848 3.743 4.880 32 0.15 0.888 0.906 0.902 0.922 1.825 3.781 3.579 4.587 32 0.16 0.884 0.906 0.901 0.920 1.670 3.716 3.461 4.440 32 0.17 0.885 0.906 0.899 0.924 1.691 3.702 3.399 4.652 32 0.18 0.884 0.903 0.901 0.922 1.665 3.561 3.439 4.627 32 0.19 0.882 0.905 0.898 0.922 1.611 3.651 3.472 4.587 32 0.2 0.881 0.901 0.894 0.915 1.581 3.553 3.327 4.356

0.88 0.89 0.90 0.91 0.92 0.93 0.94 0.95 0.96 0.97 0.98 0.99 1.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2 閾值 預測精準度

OT OT2 OT3 OT4

圖 4-11 不同選題策略在不同閾值的預測精準度變化（全體學生） 為了綜合評估這四種方法在第九冊各單元的節省試題成效，現將預測精準度固定 為 0.95，表 4-2 列出這四種方法在各單元的平均施測題數與節省百分比。由表 4-2 可 看出，OT4 的平均節省百分率較其他方法為佳。 表 4-2 不同選題策略於各單元的平均施測題數與節省百分比 康軒版五年級 預測精準度=0.95 平均施測題數 平均節省百分比 單元 施測 人數 題數

OT OT2 OT3 OT4 OT OT2 OT3 OT4 0901 662 32 14.998 13.048 12.943 11.728 53.13 % 59.23 % 59.55% 63.35 % 0902 627 34 13.002 13.389 13.439 12.150 61.76 % 60.62 % 60.47% 64.26 % 0903 664 35 15.999 14.631 14.701 13.584 54.29 % 58.20 % 58.00% 61.19 % 0904 659 37 17.002 17.073 16.519 16.525 54.05 % 53.86 % 55.35% 55.34 % 0905 660 36 14.000 12.450 13.966 12.035 61.11 % 65.42 % 61.21% 66.57 % 0906 657 31 15.001 15.056 15.461 13.416 51.61 % 51.43 % 50.13% 56.72 % 0907 660 36 15.001 15.097 15.182 12.467 58.33 % 58.06 % 57.83% 65.37 % 0908 663 29 8.001 7.330 7.434 6.994 72.41 % 74.72 % 74.37% 75.88 % 0909 663 32 14.998 12.333 12.080 11.529 53.13 % 61.46 % 62.25% 63.97 % 平均 57.76 % 60.33 % 59.91 % 63.63 %

第三節 KSAT 系統建置成果

KSAT系統目的除了提供適性測驗之外，還希望能提供友善的後端管理介面，方 便教師上傳測驗資料及補救教學教材，管理測驗題庫等。除此之外，希望能依據學生 的作答反應，產生個別學習診斷報告，讓學生瞭解自己的學習狀況，並以此分類出不 同的補救教學類型，以利教師進行補救教學或供學生自我學習。 以下針對幾個較重要的系統模組介面進行說明，其餘系統畫面詳見附錄二。 一、適性測驗介面 以圖 4-12 為例，畫面右上角列出正在測驗的單元，左上角的題號代表目前測驗 的題數。KSAT 系統的適性出題過程採用學生知識結構，在施測過程中無法回到上一 題，系統題目設計皆為單選題，有五個選項，其中一個選項為「其他」，可避免學生 亂猜的情形，讓診斷結果更準確。若發現題目有任何錯誤，在右下角可以點選「問題 回報」，將此問題回報給管理者處理。 圖4-12 適性測驗介面

二、單元知識結構管理介面 每個單元都有不同的專家知識結構、學生知識結構與補救教學結構，為了方便教 師使用，我們設計一個便利的上傳介面，並將應上傳之結構檔案加以說明。在一個單 元的知識結構中，包含了單元結構表、試卷概念表、試題概念表百分對照表等，均採 用excel格式，以利編修。其介面如圖4-13所示。 圖4-13 單元知識結構管理介面 三、班級測驗結果統計查詢介面 可查詢班級學生的學習診斷報告及各單元學習狀況（如：各學習概念的通過情 形、班級學生的作答情形）等等，可提供老師進行補救教學時的參考，如圖4-14所示。 圖4-14 班級測驗結果統計查詢介面

四、學生測驗結果查詢介面 查詢學生的歷來測驗記錄，並提供列印功能，了解學生學習狀態，也可提供給老 師及家長作為教學上的參考，如圖4-15。另附有教材對照表（如圖4-16），同時提供 個別重點相對於「備課用書」、「課本」及「習作」之頁碼，使老師方便教學，針對學 生的弱點進行立即的補救，或學生自學使用。 圖4-15 學生測驗結果查詢介面 圖4-16 教材對照表

五、學習診斷報告介面 學習診斷報告於學生測驗完後立即顯示，給學生最立即的回饋，除了測驗的一些 基本資訊外，有提供百分等級給學生參考自己大概的落點，也有詳盡的診斷報告，直 接指出學生不會的概念及問題，是施以補救教學。 圖 4-17 為學習診斷報告的上半部份。其中，『基本資料』紀錄了施測地點、學號 (身分證字號)、姓名、性別、就讀縣市、學校、年級、班級等。 『本次測驗結果』顯示當次的測驗結果，包含單元、成績、百分等級、施測日期、 施測時間、施測題數、施測總題數。 『百分等級』是表示學生的測驗分數（或考試成績）在其所屬團體中相對位置的 統計量數；本系統之百分等級是預試六百多人的結果，也可提供作參考。 『本單元學習記錄』顯示同一單元中的所有測驗結果，包含成績、百分等級等， 用以比較每次測驗是否有進步。 圖4-17 學習診斷報告1

圖4-18為診斷報告書的下半部份。概念列表會列出該單元的所有學習重點，重點 順序即為補救教學的順序，提供學生有系統的補救教學模式。KSAT系統將每個知識 節點切割非常細，能精確的測量出學生的迷思概念，老師可針對學生錯誤概念進行教 學，可以使教學更有效率。 此外，每個學習概念皆會於後方顯示診斷結果，若診斷結果為○的，表示通過該 概念的學習，若診斷結果為×，則表示未通過該概念的學習。若未通過，可以點選『查 詢』，查閱錯誤之處（如圖4-19）。在每個學習概念的最右方均有對應的補救教學教材， 可供線上學習使用。 圖4-18 學習診斷報告2 圖4-19 錯誤題目解說

第五章 結論與建議

綜合本研究之結果與討論，獲得以下結論，並給予相關建議，以供後續研究者參 考。

第一節 結論

根據前面的研究結果與實驗發現，本研究的結論如下： 一、KSAT 系統建置成果 本研究實作開發出 KSAT 系統，目前系統實際上已有 94、95 年康軒、南一版數 學各單元教材上線，並由多位碩士研究生做為施測平台，目前也開放一般國小申請使 用。 由趙琬津（2006）、盧炎成（2006）等人實際使用 KSAT 系統進行施測後得到的 研究結果指出，KSAT 系統根據學生知識結構設計適性施測流程，可依不同受試者的 作答情形而給予適當的試題，藉此節省大量的試題並可對學生的剖面圖得到精確的估 計，確實可以有效節省施測題數，並有適性化的功能，且提供個別學習診斷報告書， 讓學生可以立即知道自己的錯誤觀念，也有利教師進行補救教學。 在管理功能方面，利用系統提供之題庫管理模組及測驗管理模組，可以便利教師 建立符合知識結構理論之適性測驗；利用測驗統計模組則可對班級之施測結果進行追 蹤查詢。 二、防止猜測機制之研發成果 根據模擬實驗結果，改良後的選題策略（OT2、OT3、OT4）均可以較少的施測 題數達到較佳的預測精準度。當預測精準度設定為 0.95 時，OT2、OT3、OT4 分別可 節省 60.33 %、59.91 %、63.63 %的施測題目均優於 OT（57.76 %），其中以 OT4 有最佳 的表現，顯見防止猜測的目的可以被達成，可將此機制加入 KSAT 的適性出題模組中。