基於學生概念結構之適性測驗演算法

國立台中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣 博士

基於學生概念結構之適性測驗演算法

研究生：許曜瀚 撰

基於學生概念結構之適性測驗演算法

許曜瀚

台中教育大學教育測驗統計研究所

中文摘要

由於目前一般的學生概念結構與補救教學流程，皆必須依賴教學者手動參考 專家的概念結構與學生的試題結構來建立，而這樣的建構方法是耗時又費工的。 因此，本研究的主要目的為提出一個自動建立學生概念結構的方法，並以學 生概念結構為基礎，建立一套基於學生概念結構之適性測驗演算法，盼能達到適 性測驗的目的。 本研究設計兩種不同的概念施測順序以及不同概念內試題權重通過決斷 值。而概念內試題的訊息，將以試題權重作為分類的策略，分別為「相等試題權 重」、「可達試題權重」及「順序性機率試題權重」三種計算試題權重的策略。 本研究利用學生實際作答資料來模擬適性測驗程序，並藉此驗證本研究提出 之適性測驗演算法之成效。其結果顯示，本研究所提出的適性測驗演算法皆能有 效地診斷學生的概念有無，並能有效地節省施測試題數。 關鍵字：適性測驗、學生概念結構、順序理論、詮釋結構模式

Adapted Testing Algorithm Based on Student

Conceptual Structure

Yuao-Han Sheu

Graduate Institute of Educational Measurement and Statistics National

Taichung University

Abstract

The goal of this paper is trying to develop an algorithm for auto-combining student item structure and professional knowledge structure for modeling student knowledge structure, and develop an adapted test algorithm based on student knowledge structure to approach the goal of an adapted test.

This study is designed with two testing orders and different item weight passed criterions. The information of testing items of one selected concept are three different kinds of item weight, they are “achieved item weight”, “equal item weight”, and “ordering probability item weight”.

This study compares the effects of the adapted test processing used the real response of students advanced by this paper. The result shows that the adapted test processing advanced by this paper can clearly point out students’ wrong concepts and reduced the used test item numbers.

Keyword: adapted test, student conceptual structure, ordering theory,

目錄

第一章 緒論...1 第一節 研究動機 ...1 第二節 研究目的 ...2 第三節 名詞解釋 ...3 第四節 研究限制 ...4 第二章 文獻探討...5 第一節 知識或試題結構為基礎之電腦化適性診斷測驗 ...5 第二節 試題順序結構為基礎之適性選題策略 ... 11 第三節 詮釋結構模式 ...15 第四節 專家結構為基礎之試題結構建立策略 ...18 第三章 研究設計與實施...21 第一節 基於學生概念結構之適性測驗架構 ...21 第二節 研究流程 ...22 第三節 基於學生概念結構之適性測驗實驗設計 ...24 第四節 適性測驗成效評估方法 ...30 第五節 研究範圍 ...31 第六節 研究工具 ...31 第四章 研究結果...33 第五章 結論與建議...62 第一節 研究結論 ...62 第二節 研究建議 ...63 第六章 參考文獻...65

表目錄

表 1 進行補救教學前、後，錯誤類型分組人數統計表………..….10 表 2 同分不同錯誤類型舉例... 11 表 3 試題A、B次數分配表 ... 13 表 4 試題j 與試題k 之聯合與邊界機率... 13 表 5 OT、IRS與Diagnosys順序性之操作型定義 ... 14 表 6 『原因／結果』分析表... 17 表 7 作答反應次數分配表... 30 表 8 答對比率通過決斷值為 0.6，不同適性測驗程序之預測精準度... 34 表 9 答對比率通過決斷值為 0.6，不同適性測驗程序之節省試題比率.... 35 表 10 通過決斷值為 0.65，不同適性測驗程序之預測精準度... 36 表 11 通過決斷值為 0.65，不同適性測驗程序之節省試題比率... 37 表 12 通過決斷值為 0.7，不同適性測驗程序之預測精準度... 38 表 13 通過決斷值為 0.7，不同適性測驗程序之節省試題比率... 39 表 14 通過決斷值為 0.75，不同適性測驗程序之預測精準度... 40 表 15 通過決斷值為 0.75，不同適性測驗程序之節省試題比率... 41 表 16 通過決斷值為 0.8，不同適性測驗程序之預測精準度... 42 表 17 通過決斷值為 0.8，不同適性測驗程序之節省試題比率... 43 表 18 通過決斷值為 0.85，不同適性測驗程序之預測精準度... 44 表 19 通過決斷值為 0.85，不同適性測驗程序之節省試題比率... 45 表 20 通過決斷值為 0.9，不同適性測驗程序之預測精準度... 46 表 21 通過決斷值為 0.9，不同適性測驗程序之節省試題比率... 47 表 22 通過決斷值為 0.6，不同適性測驗程序之預測精準度... 48 表 23 通過決斷值為 0.6，不同適性測驗程序之節省試題比率... 49 表 24 通過決斷值為 0.65，不同適性測驗程序之預測精準度... 50 表 25 通過決斷值為 0.65，不同適性測驗程序之節省試題比率... 51 表 26 通過決斷值為 0.7，不同適性測驗程序之預測精準度... 52 表 27 通過決斷值為 0.7，不同適性測驗程序之節省試題比率... 53 表 28 通過決斷值為 0.75，不同適性測驗程序之預測精準度... 54 表 29 通過決斷值為 0.75，不同適性測驗程序之節省試題比率... 55 表 30 通過決斷值為 0.8，不同適性測驗程序之預測精準度... 56 表 31 通過決斷值為 0.8，不同適性測驗程序之節省試題比率... 57 表 32 通過決斷值為 0.85，不同適性測驗程序之預測精準度... 58 表 33 通過決斷值為 0.85，不同適性測驗程序之節省試題比率... 59 表 34 通過決斷值為 0.9，不同適性測驗程序之預測精準度... 60 表 35 通過決斷值為 0.9，不同適性測驗程序之節省試題比率... 61

圖目錄

圖 1 Chang et al. (1998）適性測驗流程 ...8 圖 2 電腦化適性診斷測驗及補救教學系統進行流程 ...9 圖 3 利用知識或試題結構如何節省施測試題 ...12 圖 4 試題順序結構分析軟體 ...15 圖 5 徒手描繪的構造圖與易讀性之電腦輔助運算處理構造圖的比較...16 圖 6 基於學生概念結構之適性測驗架構圖 ...21 圖 7 研究流程圖 ...23 圖 8 概念間結構與概念內試題結構 ...24 圖 9 答對比率通過決斷值為 0.6，不同適性測驗程序之預測精準度...35 圖 10 答對比率通過決斷值為 0.6，不同適性測驗程序之節省試題比率..35 圖 11 通過決斷值為 0.65，不同適性測驗程序之預測精準度 ...37 圖 12 通過決斷值為 0.65，不同適性測驗程序之節省試題比率...37 圖 13 通過決斷值為 0.7，不同適性測驗程序之預測精準度...39 圖 14 通過決斷值為 0.7，不同適性測驗程序之節省試題比率...39 圖 15 通過決斷值為 0.75，不同適性測驗程序之預測精準度...41 圖 16 通過決斷值為 0.75，不同適性測驗程序之節省試題比率...41 圖 17 通過決斷值為 0.8，不同適性測驗程序之預測精準度...43 圖 18 通過決斷值為 0.8，不同適性測驗程序之節省試題比率...43 圖 19 通過決斷值為 0.85，不同適性測驗程序之預測精準度...45 圖 20 通過決斷值為 0.85，不同適性測驗程序之節省試題比率...45 圖 21 通過決斷值為 0.9，不同適性測驗程序之預測精準度...47 圖 22 通過決斷值為 0.9，不同適性測驗程序之節省試題比率...47 圖 23 通過決斷值為 0.6，不同適性測驗程序之預測精準度...49 圖 24 通過決斷值為 0.6，不同適性測驗程序之節省試題比率...49 圖 25 通過決斷值為 0.65，不同適性測驗程序之預測精準度...51 圖 26 通過決斷值為 0.65，不同適性測驗程序之節省試題比率...51 圖 27 通過決斷值為 0.7，不同適性測驗程序之預測精準度...53 圖 28 通過決斷值為 0.7，不同適性測驗程序之節省試題比率...53 圖 29 通過決斷值為 0.75，不同適性測驗程序之預測精準度...55 圖 30 通過決斷值為 0.75，不同適性測驗程序之節省試題比率...55 圖 31 通過決斷值為 0.8，不同適性測驗程序之預測精準度...57 圖 32 通過決斷值為 0.8，不同適性測驗程序之節省試題比率...57 圖 33 通過決斷值為 0.85，不同適性測驗程序之預測精準度...59 圖 34 通過決斷值為 0.85，不同適性測驗程序之節省試題比率...59 圖 35 通過決斷值為 0.9，不同適性測驗程序之預測精準度...61

第一章 緒論

近年來，由於電腦化適性測驗（computerized adaptive testing, CAT）及測驗後 的補救教學日漸重視，而鑒於依賴老師去建立屬於毎位學生的補救教學路徑需要 耗費大量的時間以及金錢成本。於是，本研究的主要目的在於開發一套結合學生 試題結構自動建立學生概念結構之演算法，並建立一套基於學生概念結構之適性 測驗演算法，能診斷出毎位學生的迷思概念，建立屬於毎位學生的補救教學路 徑，且利用實際施測資料模擬適性測驗程序來評估其成效，本章包括研究動機、 研究目的、名詞解釋及研究範圍與限制等四節，茲分述如下。

第一節 研究動機

近年來，由於適性測驗理論的發展，電腦化測驗有了重大的突破，而電腦化 適性測驗依其理論基礎大致可分為二大類（郭伯臣，2004），一類是以試題反應

理論（item response theory, IRT）為基礎（Wainer, 2000）；另一類則是以知識結構

或試題結構為基礎（Appleby, Samuels, & Treasure-Jones, 1997; Brown & Burton, 1978; Chang Liu & Chen, 1998; VanLehn, 1988; Wenger, 1987）。

在以 IRT 為基礎所進行的適性測驗中，受試者的成績可以轉換成一個能力值 （ability）或是一個量尺分數（scale score），較適合使用於教育資源分配情境， 例如：基本學力測驗、大學入學測驗等。 本研究團隊長期致力於研發以知識結構為基礎之電腦化適性測驗及補教教 學系統，期望達到因才施測、因材施教之教育目標，目前本研究團隊之研究成果 除了有國科會補助計畫「國小數學科電腦化適性診斷測驗(I)(II)(III)」（郭伯臣， 2003、2004、2005）中所開發二元計分試題結構之試題適性診斷測驗系統外，更 於 2006 年進行開發「以知識結構為基礎的適性測驗系統（knowledge structure based computerized adaptive test system , 簡稱 KSAT ）」。

本研究團隊發現由於 KSAT 系統內使用 Flash 動畫針對個別學生進行適性補救教 學，而現時的適性補救教學路徑必須依賴老師整合「專家知識結構」與「學生試 題結構」而得，現今並無一系統方法與軟體可快速整合此二結構，進而得到較佳 之適性補救教學路徑的建議。 因此，本研究擬提出一個結合學生試題結構之自動化建立學生概念結構之適 性診斷測驗演算法。 郭伯臣、謝友振、張峻豪、蔡坤穎（2005）指出使用良好的試題結構可以有 效降低施測試題數，該研究比較了三種估計試題結構的方法，分別為美國學者所 研發之順序理論（ordering theory, OT）、日本學者所研發之（item relationship structure analysis, IRS）及英國學者所研發之 Diagnosys，其研究結果顯示，使用 OT 所建立之試題結構相較於 IRS 與 Diagnosys 所建立之試題結構應用在適性測驗 上，其所需訓練樣本較少即可達到一定的預測精確度，並且可節省較多的施測試 題數。 本研究建立學生概念結構時，自動化建立學生概念結構的部份將參考詮釋結 構模式（佐藤隆博，1979）中所提出的建立概念間關係之理論技術來估計概念結 構的上下位關係，並藉以探討基於此學生概念結構之適性測驗選題策略，盼可以 有效的診斷學生的迷思概念，讓學生立即知道自己的哪些概念是還沒有學會的， 也可以提供給教師作為補救教學路徑的參考。而建立學生試題順序結構部份將採 用順序理論技術來估計學生的試題結構，並應用於適性測驗選題策略之建立。

第二節 研究目的

基於上述研究動機，本研究欲提出一個能自動建立學生概念結構之演算法， 並建立一套基於學生概念結構之適性測驗演算法，藉由實際情境取得之實際作答 反應模擬適性測驗施測程序來評估其成效，盼能有效地診斷學生之迷思概念，提 供教學流程參考之設計，其研究目的分述如下：

一、提出建立學生概念結構之演算法。 二、提出以學生概念結構為基礎之不同適性測驗演算法。 三、模擬適性測驗程序，藉以探討不同適性測驗演算法之最佳選題策略。

第三節 名詞解釋

針對本研究常見的重要名詞，詳細說明如下： 一、電腦化適性診斷測驗 適性測驗不但可以針對不同程度的受試者給予不同難度的試題，且作答的題 數可以減少很多，即只須作答部份試題便可測出學生的能力。 由於近年來與網路的結合，將電腦在測驗上的功效發揮到最大(黃朝恭， 2000)。然而，電腦化適性測驗不但可以精確地診斷出學生的迷思概念，還可以有 效節省測驗的題數，有效地縮短測驗時間，更能符合「因才施測」的原則。 電腦化適性診斷測驗係採用網路介面的測驗方式，而呈現給考生的試題順 序，會根據考生先前的作答反應，來選擇呈現下一個要給考生作答的試題，通常 會選擇對估計考生能力或概念的有無最有貢獻的試題。 故考生不須測驗完所有的試題就可以有效推估出考生的能力或概念的有 無，即測驗的長度可以縮短，且不會犧牲測量精確性。 因此，實施電腦化適性測驗不僅可以達到因才施測的目的，也可精確估計考 生的概念有無，節省許多施測時間和成本，一舉數得。 二、順序理論

本研究利用來建立試題結構之順序結構理論即是由 Bart & Krus (1973)所提

出之順序理論（ordering theory, OT），本研究將利用 OT 來分析學生的作答反應，

建立學生試題的上下位關係，得到學生試題結構，此理論將在下一章中作詳細的 介紹。

三、專家知識結構 專家知識結構是由學科專家根據學理以及其豐富的現場教學經驗，分析施測 範圍內所需具備的知識，根據學生的學習歷程、概念發展順序及概念上下位關係 整理而成的一種順序結構關係。在專家知識結構中，最上層的概念為此單元的最 難概念，其下層概念則為該概念的下位概念。 四、學生知識結構 學生知識結構乃是利用專家知識結構所編制而成之測驗進行施測，根據測驗 後得到的作答反應估計學生的試題結構，再請專家參考學生試題結構建立屬於學 生的知識結構，此結構有助於精確地估計學生的概念認知情形。在本研究中的學 生概念結構即為學生知識結構，本研究主要目的即要提出一個自動建立學生概念 結構的方法，有助於節省專家建立此結構所需耗費之大量時間與人力。 五、補救教學結構 藉由學生概念結構可以知道學生在學習概念時的順序關係，專家可以參考所 編制的專家知識結構與學生概念結構來建立符合學生概念學習順序之補救教學 結構。本研究的主要目的即為開發一套基於學生概念結構之適性測驗程序演算 法，藉由適性測驗診斷出學生的迷思概念，建立屬於個別學生的補救教學路徑。

第四節 研究限制

本研究由於時間、資源及人力限制的考量，擬以國民小學四年級數學領域第 八冊第十單元的「面積」單元為本研究的研究範圍。 因此，本研究結果的推論不可過度推論到其他教育層級的學生和其他學科領 域。

第二章 文獻探討

本研究的主要目的為參考詮釋結構模式來開發一套能自動建立學生概念結 構之演算法，且建立基於學生概念結構之適性測驗演算法，並以國民小學四年級 數學領域第八冊第十單元的「面積」單元為本研究所探討的研究範圍。 因此，本章將分成以下四個部分來加以闡述： 一、以知識或試題結構為基礎之電腦化適性診斷測驗 二、以試題順序結構為基礎之適性測驗選題策略 三、詮釋結構模式 四、以專家結構為基礎之試題結構建立策略

第一節 知識或試題結構為基礎之電腦化適性診斷測

驗

一、Diagnosys

Diagnosys（Appleby, Samuels &Treasure-Jones, 1997）是一套以知識結構為基 礎的電腦化診斷測驗，可以用來診斷基礎的數學技能，期能提供學生一個立即的 成績回饋，同時也可快速地提供給予教師專屬於學生的知識結構，用以分辨群體 中「處於危險（at risk）」中的學生以及群體中普遍的弱點。最初是為了工程學大 學入學學生而發展，但是也可以廣泛的用於其他學生群以及其它教育制度。 分析此診斷測驗系統的需求，歸納如下： 1. 應該在一個小時之內準確的評鑑出一個學生的數學知識結構。 2. 應該立即根據學生答題表現給予回饋，主要以學生不熟悉的概念為主。 3. 應該快速地提供教師個別學生和學生群體的摘要資料，主要用以分辨「處於危 險」中的學生以及學生群體普遍的弱點。 4. 應該要適用於大學入學學生。 另外，在系統架構確認之前，也做了以下幾項基礎設計的決定。

1. 決定使用以概念的方式來確認不同領域的知識。 2. 概念被依序組織成階層狀，專家系統就能以之前回答的答案推論出學生 的知識結構，然後選擇下一個最合適的題目，這樣的設計能針對不同能力的群 組減少所需要施測的試題數。 3. 決定使用一個數學工具介面以及各種不同型態的試題，其目的是為了鼓 勵學生思考問題然後產生答案，而不是用猜測作答的方式。 4. 指定概念的階層來提供一個簡易的學生側面圖，用以挑出初始的題目。 5. 學生的反應資料（response data）將會用來改進系統和教育發展。 根據以上診斷測驗的需求和系統架構基礎設計的決定，該系統包含下列幾個 主要的部份： 1. 概念網路：指明概念、指定概念的 level、定義概念之間的連結。 2. 問題設計：設計題目、定義題目的表達方式、選擇答題的型態。 3. 測驗介面：整個測驗管理系統發展，包括介面的設計、答案的評估，提 供學生回饋。 4. 專家系統：產生最初的學生概念側面圖，從學生的答案做出推論，選擇 下一個題目。 5. 數學工具介面：數學答案的語法分析以及各種不同評估準則的應用。 6. 工具程式：產生各個技能的個別學生成績和群組成績的回饋給教師。 7. 補充材料：根據測驗的施測問題及概念的內容給予施測結果的報告。 為了節省試題，需應用知識結構的特性。因此，該系統設計時同時採用了專 家知識結構和學生的知識結構分析，如此一來便可以分成兩階段來節省試題。因 此採用紙筆測驗進行前測，然後分析測驗結果，瞭解學生的知識結構。 Diagnosys 在設計上有其優點：利用階層的性質來編製試題可以分二階段節 省試題，第一階段是利用專家知識結構，第二階段是利用學生試題結構來節省試 題。其缺點是： 1. 只提供知識結構，並不提供對教學有用的分群訊息。

2. Diagnosys 用來決定學生的知識結構的理論並不完善。 例如：決定試題順序的臨界值的選取是根據經驗法則而來的，而且遞移性與等 價性的定義並不理想。 3. 作答反應與知識結構的對應是決定性的，學生答對即代表具有某概念，答錯則 不具備某概念，無法真實反應學生作答行為的不確定性。 二、應用試題選項關係之電腦化適性測驗

Chang, Liu, & Chen（1998）曾以直流電路為例，設計一個診斷迷思概念之測 驗系統，做為教師補救教學流程之參考。在題庫建立方面，該研究參考相關文獻， 訂出 9 個關於直流電路的迷思概念，再根據這 9 個迷思概念，請專家們出了 20 個題目，每一題目之選項皆被要求盡可能與迷思概念有所關連。該研究的重點在 於假設有一份試卷，試卷中每一題的選項除正確選項外，其餘選項皆被設計成與 某一種迷思概念有關，如圖1 所示。因此，今天若學生 A 作答第 4 題時，若學生 選擇 4a 選項，即可判斷學生可能擁有某一迷思概念且與第 6 題有關，故必須再 進行第6 題的測驗來繼續作答。此時若學生面對的選項為 6a、6b、6c，這三個選 項分別對應著不同的迷思概念 M1、M2、M3，因此即可藉由學生所選擇的選項 來判斷學生所擁有的迷思概念為何。若學生選擇的是 4b 選項，則可對應到迷失 概念M4，唯有選擇 4c 選項時才能確定學生沒有 M1 至 M4 這四個迷思概念。 此方法優點為：可以根據受試者作答之選項來決定下一題試題，可達到適性 化之效果。由受試者作答之選項來推論迷思概念，如果題目夠多，將可精確診斷 出每一位受試者之迷思概念，達到個別化之需求。 儘管優點是很明顯的，不過我們也發現幾個問題，例如： 1. 每條測驗路徑皆須精心設計以避免重複以精確診斷出相對應之迷思概 念。 2. 出題時需考慮每一個選項和迷思概念間關係，困難度相當高。且當試題可猜測 時，不易完成精確診斷。

圖 1 Chang et al. (1998）適性測驗流程 三、應用試題順序結構之電腦化適性測驗 為了改進 Diagnosys 不足之處，本研究團隊於「國小數學科電腦化適性診斷 測驗(I)(II)(III)」中開發嘗試將順序理論和試題關連結構分析法與試題反應理論結 合來分析學生試題結構。並分別使用專家知識結構與學生試題結構來建立電腦化 適性診斷測驗，節省施測的題數並預估學生的側面圖。而後再將學生診斷測驗結 果以樣式辨識（pattern recognition）的技術來獲得學生的分類。 此電腦化適性測驗系統包含四個子系統： 1. 多媒體題庫系統； 2. 適性測驗系統； 3. 補救教學分類系統； 4. 輔助學習模組； 系統主要架構如圖2 所示，希望能透過此系統將學生課堂後的評量與補救學 習數位化及網路化，藉此達到「因才施測」及「因材施教」的目的。 第4 題 選項4a 選項4b 選項4c 正確選項 迷思概念 M4 第4 題 選項6a 選項6b 選項6c 迷思概念 M3 迷思概念 M2 迷思概念 M1

圖 2 電腦化適性診斷測驗及補救教學系統進行流程 上述架構除了具有Diagnosys 的優點之外，其主要優勢在於分析學生知識結 構的方法具有較完善的數學理論基礎，並且提供一個有利於補救教學的分群。 為了瞭解此一系統之實際效能，郭伯臣（2004）以康軒版「擴分、約分」單 元為例，對進行補救教學的學生進行前測與後測，前測的平均分數為 68.70 分， 後測的平均分數為 82.76 分，可以很明顯地看出經過電腦化適性補救教學後，學 生的平均分數有很大的進步。且前測與後測的成績有顯著性差異，後測成績明顯 優於前測成績。 表1 為前測與後測中，各錯誤類型的分佈人數，由表 1 可看出需重新學習所 有概念的學生人數由前測的27 人減少為後測的 15 人，精熟所有概念的學生人數 由前測的1 人增加成後測的 7 人。 整體來說，可以看出學生經過補救教學後，在錯誤類型組別的分布上有往上 位概念移動的趨勢，也就是說，經過電腦化適性補救教學後，學生的成績有明顯 地進步。 2.適性測驗系統 學生學習剖面圖 3.補救教學分類系統 類別1 類別2 類別n 4.輔助學習模組 1 學生 1.多媒體題 庫系統 4.輔助學習模組 2 4.輔助學習模組 n

表1 進行補救教學前、後，錯誤類型分組人數統計表 錯誤 類型 前 測 後 測 描述 0 1 7 精熟本單元所有概念 1 0 0 需重新學習「兩異分母比較大小」 2 0 0 需重新學習「兩異分母比較大小」、「通分」 3 3 4 需重新學習「最簡分數」 4 11 31 需重新學習「最簡分數」、「兩異分母比較大小」 5 7 5 需重新學習「最簡分數」、「兩異分母比較大小」、「通分」 6 0 1 需重新學習「最簡分數」、「約分」 7 7 10 需重新學習「最簡分數」、「約分」、「兩異分母比較大小」 8 6 2 需重新學習「最簡分數」、「約分」、「兩異分母比較大小」、 「通分」 9 7 6 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、 「兩異分母比較」、「通分」 10 7 11 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、 「兩異分母比較」、「兩同分母比較」、「通分」 11 22 20 需重新學習「最簡分數」、「約分」、「兩異分母比較」、「通 分」、「兩同分母比較」、「公倍數」、「擴分」 12 6 9 需重新學習「最簡分數」、「約分」、「兩異分母比較」、 「兩同分母比較」、「公倍數」、「擴分」 13 18 1 需重新學習「最簡分數」、「約分」、「公因數」、「等值分數」、 「兩異分母比較」、「兩同分母比較」、「公倍數」、「擴分」 14 27 15 所有概念都需重新學習 15 0 0 粗心大意 另外，由表2 可發現，受試者雖然是得到一樣的分數，但是，由於答錯的題 目不同，就會分到不同的錯誤類型組別，也就是會得到不同的補救教學路徑，這 是傳統紙筆測驗或是以總分為主之電腦測驗所不可能達到的效果，也是該系統的 一大優勢。

表2 同分不同錯誤類型舉例 測驗代號 作答紀錄 總分 錯誤類型 s00023 1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,0,1,1,1 92 10 s00031 1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,0,1,1,1,0,1,1,0,1,1,1 92 5 w00015 1,1,1,1,0,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,1,1,1,0,1,1,1 92 4 t00009 1,1,1,1,1,1,1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,0,1,1,1,1,1 92 7 t20006 1,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,1,1,1,0,1,0,1,1,1 92 9 w00017 0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,0,1,0,1,1,1 88 4 t00001 1,0,1,1,0,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1 88 7 t00006 0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 9 t00011 1,1,1,1,0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1 88 10 s20011 1,1,1,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,0,1,1,1,1,0,1,1,0 88 12 w20022 1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,0,1,1,1,1,1,1,1,0,1,1,0 88 11 t20018 1,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 88 5 w00032 1,1,1,1,0,1,0,1,1,1,0,1,1,1,1,1,1,1,1,1,1,0,1,0,1,1,0 84 4 t00018 0,1,1,1,0,1,0,1,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,0,1,1,1 84 5 t00025 0,0,1,1,1,1,1,1,1,1,1,1,1,1,0,0,1,1,1,1,1,1,1,0,1,1,0 84 7 s20017 0,1,1,1,0,1,1,1,1,1,1,0,1,1,0,1,1,1,0,1,1,1,1,0,1,1,1 84 6 w20020 1,1,1,1,1,1,1,1,1,0,0,1,1,1,1,1,1,1,1,0,1,0,1,0,1,1,0 84 10 該系統之優點可歸納於下： 1. 評量、診斷與補救教學皆為適性化、個別化，可達到「因材施教」以及「因才 施測」的目的。 2. 可以節省教師大量時間，可於一節課內完成評量、診斷與補救教學。 3. 可診斷同分但不同錯誤類型之學生。 4. 測驗網路化，可利用「回家作業」或是「考試」等方式進行。

第二節 試題順序結構為基礎之適性選題策略

假設要瞭解學生學習某單元後之剖面圖需要以試題A 到 I 來進行測驗，在傳 統紙筆測驗中，試題A 到試題 I（共九題）都要需要被施測。假設現有一試題順 序結構如圖3 所示，其中 B→A 表示試題 A 為試題 B 之上位試題，我們可以假設

若試題 A 答對，則試題 B 也會答對。在以試題順序結構為基礎之適性測驗流程 中，如受試者答錯A 試題，則需進一步測量下位試題 B、C 及其子試題，以瞭解 學生真正之迷思概念為何。如 C 對 B 錯，則認定 C 之所有下位試題皆已精熟， 也就是預測C 之所有下位試題皆為答對，不必再施測，預測僅需再施測 D、E 兩 題，可節省F、G、H、I 四題。 圖 3 利用知識或試題結構如何節省施測試題 由上述可知，若使用連結較多的結構於電腦化適性測驗，較易於節省施測試 題與施測時間，但由於要增加結構的連結，必須容忍較多違反順序性的誤差，使 用較多違反順序性的誤差的結構，電腦化適性測驗在預測受試者學習剖面圖時的 預測誤差就會增大。 以下介紹幾種估計結構之方法： 一、Diagnosys 前述 Diagnosys 系統即是一種基於知識結構為基礎的電腦化診斷測驗，同時 考慮了專家及學生的結構。學生結構的擷取乃透過專家知識結構所編製的紙筆測 驗進行施測，並根據下列的方式所建構的。 假設兩題試題 A 與 B 的次數分配如表 3 所示，如果 f_AB >> f_AB，則視試題 A 為試題 B 之下位試題，即如果正確作答試題 B，則必能正確作答試題 A，反之 則不一定成立，此種情形於本研究中標示成 A→B。如果 f_AB+ f_AB >> f_AB + f_AB， 則試題 A 與試題 B 可視為等價，於本研究中標示成 A↔B，Diagnosys 藉由將試 A B C D E F G H I

題（概念）結構引入電腦測驗中來達到適性測驗的效果，並縮短施測時間。 表3 試題 A、B 次數分配表 試題B 對 試題 B 錯 試題A 對 fAB fAB 試題A 錯 fAB fAB 二、試題順序結構理論與試題關聯結構分析法

Airasian & Bart （1973）的順序理論（ordering theory, OT）及 Takeya （1991） 的試題關聯結構法（item relationship structure analysis, IRS）都是常用來定義試題 間結構的方法。

茲將此二理論敘述於下：

令X =(X X₁, ₂, ," X_n)表示一個向量，包含 n 個二元試題成績變數，每一個受 試者作答 n 題得到一個0 與 1 的向量X =(X X₁, ₂, ," X_n)，計算試題 j 跟 k 的聯合 與邊界機率（joint and marginal probabilities），如表 4 所示。

表4 試題 j 與試題 k 之聯合與邊界機率 Item k 1 k X = Xk =0 Total 1 j X = P X( _j=1,X_k =1) P X( _j =1,X_k =0) P X( _j =1) 0 j X = P X( j =0,Xk =1) P X( j =0,Xk =0) P X( j=0) Item j Total P X( _k = 1) P X( k =0) 1 在順序理論中，令ε*_jk=P X

(

_j=0,X_k= 表違反試題 j 為試題 k 之下位試題之機1

)

率，當ε*_jk < 時，則設定試題 j 為試題 k 之下位試題，記錄成ε X_j → X_k，其中ε為 一閾值（threshold），常設定介於 0.02 及 0.04 間（ 0.02≤ ≤ε 0.04） （Airasian & Bart, 1973; Bart & Krus, 1973）。

數有些情況會產生矛盾，故提出試題關聯結構分析法，希望透過另一種測量試題 順序結構之係數r 來定義試題*_jk j 到試題 k 之間的順序關係，以修正 OT 之不足，r*jk 的定義如下所示。 * ₁ ( 0, 1) ( 0) ( 1) j k jk j k P X X r P X P X = = = − = = 若r*_jk ≥ ，則設定試題 j 為試題 k 之下位試題，紀錄為r X_j → X_k，其中r_為一 閾值（threshold），常設定為 0.5。在 OT 及 IRS 中，若X_j → X_k且X_k → X_j，則 兩者的關係可以表示成X_j ↔ X_k，而且這樣表示試題 j 與試題 k 是等價的。 表5 OT、IRS 與 Diagnosys 順序性之操作型定義 順序性定義 Xj → Xk Xj ↔ Xk Diagnosys

(

₍

1, 0

)

₎

0, 1 j k j k f x x f x x β = = < = =

(

) (

)

(

) (

)

1, 1 0, 0 0, 1 1, 0 j k j k j k j k f x x f x x f x x f x x β = = + = = < = = + = = IRS jk* 1 ₍( j _{0) (}0, k 1)₁₎ j k P X X r r P X P X = = = − ≥ = = Xj →Xk且Xk → Xj OT ε*_jk =P X( _j =0,X_k = <1) ε Xj →Xk且Xk → Xj 早期這些方法主要是以紙筆測驗的結果來進行試題結構之估計，強調可提供 除了試題通過率與鑑別度以外的訊息，常用於比較使用不同教學法或教材版本是 否造成學生知識結構不同。本研究團隊於先前的研究中已有開發相關分析軟體 （見圖4）及以此種試題順序結構為基礎之網路適性評量（郭伯臣、何政翰，2004；

郭伯臣，2003，2004，2005；Kuo, Liu, Sheu, Pai, Ko, Yang & Lin, 2004），而前述 的研究中使用四種方法來建立結構，並評估所建立結構之成效，四種方法分別為

專家知識結構與Diagnosys、OT 與 IRS，得到下列三個結論：

1. 使用專家知識結構之電腦化適性測驗演算法其預測精確度較難控制，而使用學 生試題結構之電腦適性測驗演算法，可藉由閾值控制結構，因此可獲得較令人 滿意之預測精確度。

2. Diagnosys 演算法需要更多樣本來達到令人滿意之預測精確度，適性測驗速度 也比較慢。 3. OT 的演算法與其他演算法比起來，其對樣本大小較不敏感。 因此，就以建立試題順序結構之效果來說，OT 似乎是一個較好的選擇。 圖 4 試題順序結構分析軟體

第三節 詮釋結構模式

在進行研究複雜問題、發展計劃、管理組織、系統工作以及各式不同種類的 繁雜事務時，通常需要將其合成為「階層（hierarchies）」的形式。然而，將項目 （elements）排列成階層的過程中，人們經常是以直觀（intuitively）的方式處理 之。雖不須強制束縛自己，但是卻已在無意之中遺失掉某些能簡單地發展出階層 排列的重要項目，或者導致無法發展出詳盡的層級形式（Warfield, 1973a）。因為， 當項目的個數較多或項目的關係較為複雜時，要直接徒手畫出腦中存在的教材要 素項目結構圖並不是一件容易的事，不但難以看出其高低層次關係，且要素間之 關係的連線會變得十分複雜而不易閱讀理解；若要素超過 20 個以上時，則可以

利用電腦等快速運算工具來幫助人們思考（佐藤隆博，1979），其乃扮演了輔助 認知（cognitive aid）及提昇效率（performance amplifier）的重要角色（Warfield, 1974a）(如圖 5)。 圖 5 徒手描繪的構造圖與易讀性之電腦輔助運算處理構造圖的比較 (引自：佐藤隆博(1979)。中學校數學科的教材開發。23 頁) 根據 Miller（1956）從許多實驗結果顯示指出，人的短期絕對判斷力與短期 記憶之極限為 7 個單元數目，其研究結論是須將資訊予以集組化（chunk）以及 把大量的資訊做編碼（encoded）之處理，如此一來即可減輕我們的認知負荷。 而要構成層級的三個原則為項目（elements）、內容意涵（ content）與方向 （direction）；當項目、內容以及從屬關係（subordination relation）皆確立時，且 經過一套格式化處理程序（formal procedure），則可「自動地」且有效率描繪發 展出這些關係圖形。 此一格式化處理程序，能減低我們在發展層級（developing hierarchies）與排 列其結構（arranging their structure）中許多的複雜度，將可有效地協助人們思考，

諸如科學的構造支線（structure branches）及解決層級結構複雜的許多問題 （Warfield, 1973a）。

然 符 合 此 格 式 化 處 理 程 序 及 原 則 的 方 法 是 詮 釋 結 構 模 式 （interpretive structure modeling, ISM），最早由 Warfield, J. N.提出，原是社會系統工學（Social

System Engineering）之一種構造模型法（Structure Modeling），植基於離散數學和

圖形理論，再結合行為科學、數學概念、團體決策（group discussion）及電腦輔 助等領域，亦考慮到學習的歷程（Warfield, 1974a, 1974b, 1979），透過二維矩陣 （binary matrices）的數學運算，呈現出全部元素的關連性，並藉由電腦來輔助執

行繁複的數學運算過程，可自動地產生一個多層級結構化階層（multilevel

structural hierarchy），稱為地圖（map）（Warfield, 1973a, 1973b, 1974b, 1977）。 此法以圖表而非文字方式敘述解析、架構及說明整體工作，能讓從事工作的 人更易於瞭解工作內容及掌握工作重點與順序，而不會產生如文字表示時所遭遇 到的干擾（蔡曉信，1993）。 該法的建立流程如下所述： 一、 抽出單元（概念或項目）中的教材要素。並將教材要素以s 表示，_i i=1,...,n。 二、 『原因／結果』分析表：建立全部教材要素的兩兩關係（例如：因果關係 等），如表6。 表6 『原因／結果』分析表 結果 0 s1 … sn 1 s 0 … 1 … … … … 原因 n s 0 … 0 三、 組織要素階層化：將『原因／結果』分析表轉為「關係矩陣」（relation matrix）。 將上述之要素因果關係分析表轉化為數學表現型式，即具有二值矩陣（binary matrix）性質的關係矩陣或稱「相鄰矩陣」（adjacent matrix）。 四、 將相鄰矩陣轉化為「可達矩陣」（reachable matrix）：

在此乃運用圖形理論（Warfield, 1973a；佐藤隆博, 1987）所建立。 五、 將可達矩陣轉換為階層矩陣（hierarchical matrix） 六、 最後以階層矩陣分析完成 ISM 層級構造圖並以圖形表示出。

第四節 專家結構為基礎之試題結構建立策略

專家必須藉助雙向細目表來進行命題，這樣的方式容易因片斷的專家知識結 構而造成建立試題結構的困難。因此，竹內俊彥與佐久間章行（2002）提出一個 整合ISM 法則的試題結構建立策略來改進這樣的缺點，該策略詳細運作流程如下 所述： 1. 符號定義：

KN− 為第i 個概念或知識節點（knowledge node，簡稱為 KN）； i

I_i為第 i 題試題。 2. 專家建立概念間兩兩的關係。 其中，KN − Æ1 KN− 表2 KN− 為2 KN− 的上位概念： 1 1 − KN _ÆKN −2 KN −1_ÆKN−7 KN−2_ÆKN −3 KN−2_ÆKN −4 2 − KN _ÆKN −6 KN−7_ÆKN −9 KN−7_ÆKN −8 KN−3_ÆKN−5 4 − KN _ÆKN −5 KN −8_ÆKN −10 3. 建立概念的鄰接矩陣： KN-1 KN-2 KN-3 KN-4 KN-5 KN-6 KN-7 KN-8 KN-9 KN-10 KN-1 1 1 0 0 0 0 1 0 0 0 KN-2 0 1 1 1 0 1 0 0 0 0 KN-3 0 0 1 0 1 0 0 0 0 0 KN-4 0 0 0 1 1 0 0 0 0 0 KN-5 0 0 0 0 1 0 0 0 0 0 KN-6 0 0 0 0 0 1 0 0 0 0 KN-7 0 0 0 0 0 0 1 1 1 0 KN-8 0 0 0 0 0 0 0 1 0 1 KN-9 0 0 0 0 0 0 0 0 1 0 KN-10 0 0 0 0 0 0 0 0 0 1

4. 藉由 ISM 法則建立概念可達矩陣： KN-1 KN-2 KN-3 KN-4 KN-5 KN-6 KN-7 KN-8 KN-9 KN-10 KN-1 1 1 1 1 1 1 1 1 1 1 KN-2 0 1 1 1 1 1 0 0 0 0 KN-3 0 0 1 0 1 0 0 0 0 0 KN-4 0 0 0 1 1 0 0 0 0 0 KN-5 0 0 0 0 1 0 0 0 0 0 KN-6 0 0 0 0 0 1 0 0 0 0 KN-7 0 0 0 0 0 0 1 1 1 1 KN-8 0 0 0 0 0 0 0 1 0 1 KN-9 0 0 0 0 0 0 0 0 1 0 KN-10 0 0 0 0 0 0 0 0 0 1 5. 建立問題關聯結構矩陣： KN-1 KN-2 KN-3 KN-4 KN-5 KN-6 KN-7 KN-8 KN-9 KN-10 I1 1 0 0 0 0 0 0 0 0 0 I2 0 0 0 1 0 0 1 0 0 0 I3 0 0 0 0 0 1 0 0 0 0 I4 0 0 0 0 0 1 0 0 1 0 I5 0 0 0 0 1 0 0 0 0 1 6. 建立試題必要全概念關係矩陣 (1) 令 M 為概念可達矩陣 (2) 令C 為概念關係矩陣 (3) 令 * T C = ×C M (4) 將 * C 經過下列方程式轉換：∀c_ij*∈C* 且 If c_ij* ≥ Δ1 c_ij*= 1 (5) 轉換C 成為試題必要全概念矩陣： ** KN-1 KN-2 KN-3 KN-4 KN-5 KN-6 KN-7 KN-8 KN-9 KN-10 I1 1 0 0 0 0 0 0 0 0 0 I2 1 1 0 1 0 0 1 0 0 0 I3 1 1 0 0 0 1 0 0 0 0 I4 1 1 0 0 0 1 1 0 1 0 I5 1 1 1 1 1 0 1 1 0 1 7. 藉由概念包含的觀念，由試題必要全概念矩陣建立試題的關係矩陣，其結果如 下所述：

I1 I2 I3 I4 I5 I1 1 1 1 1 1 I2 0 1 0 0 1 I3 0 0 1 1 0 I4 0 0 0 1 0 I5 0 0 0 0 1 8. 將步驟 7 的結果以圖示加以表示如下所述： 整個建立試題結構的過程藉由 ISM 的方法整合專家原先兩兩概念的知識結 構，之後再輔以試題和概念的關係建立出試題結構。 I5 I4 I2 I3 I1

第三章

研究設計與實施

本研究旨在提出一個以學生概念結構為基礎之適性診斷測驗演算法，藉以診 斷出學生在學習面積單元時的迷思概念。利用統計方法來分析實徵資料來檢視其 成效，並藉以探討不同變項對概念預測精確度的影響。 本章主要分為六個部分來說明整個研究設計。分別為基於學生概念結構之適 性測驗架構、研究流程、基於學生概念結構之適性測驗實驗設計、適性測驗成效 評估方法、研究範圍與研究工具。

第一節 基於學生概念結構之適性測驗架構

本研究所設計的基於學生概念結構之適性測驗架構如圖 6 所示。 圖 6 基於學生概念結構之適性測驗架構圖 進行紙筆測驗得 到學生實際作答 使用本研究提出之 基於學生概念結構 之適性測驗演算法 專家建立概念試題關聯表 利用順序結構理論 估計學生試題結構 進行電腦 適性測驗 學生 建立學生概念結構 評估不同適性測驗 選題策略成效

根據所擬定的基於學生概念結構之適性測驗架構，針對重點部份說明如下： 一、 在「建立學生概念結構」方面，由於結構建立的方式有好幾種，而選題策 略成效的好壞與所建立的結構息息相關，但很少學者針對概念結構進行選 題策略的研究。本研究擬參考文獻探討中所提及之詮釋結構模式建立概念 間關係的方法作為本研究自動建立學生概念結構的方法。 二、 在「基於學生概念結構之適性測驗演算法」方面，本研究提出三個基於學 生概念結構，計算概念內試題權重的方法，本研究將利用所提出之計算試 題權重的方法來計算概念內的試題權重值，將其應用在適性測驗選題策 略，盼能精確地診斷出學生的概念有無，並能有效地節省施測試題數。 三、 在「評估不同適性測驗選題策略成效」方面，適性測驗流程設計完成後， 以「面積」單元之實際作答反應資料模擬以學生概念結構為基礎的適性診 斷測驗程序、基於專家策略的適性診斷測驗程序與基於 OT 程序之適性診 斷測驗，並評估其不同適性測驗程序之選題策略成效，並探討不同通過決 斷值對於診斷概念有無的影響。

第二節 研究流程

在確定研究主題後，即著手進行各種相關文獻的收集與探討，本研究分成二 個部分同時進行，一個為探討建立學生概念結構的方法，另一個為開發建立試題 權重的方法，本研究欲結合這 2 個部分，建立一套基於學生概念結構的適性測驗 演算法，並模擬電腦適性測驗的施測流程，藉以評估其成效。 本研究之研究流程圖如圖 7 所示。

圖 7 研究流程圖 本研究擬採用試題順序理論來估計試題間結構，並參考文獻探討中的詮釋結 構模式所提及之方法來建立概念間結構，作為建立學生概念結構之策略，並開發 一套建立於此模式之適性測驗演算法。 確定研究主題 文獻收集與探討 收集分析資料 建立學生試題結構 建立學生概念結構 探討不同試題權重 的計算方法 以 MATLAB 軟體模擬 電腦適性測驗施測 以各種適性測驗 選題策略進行選題 設計不同適性測驗 選題策略 評估各種選題策略成效 撰寫研究報告

第三節 基於學生概念結構之適性測驗實驗設計

由前一章的文獻探討中，可以知道試題順序結構及概念順序結構皆可用於適 性測驗之選題策略，並可以有效地節省所需要施測的試題。 本研究將計算基於學生概念結構之概念內試題權重，作為電腦化適性測驗之 選題策略，結合兩者之優點，達到精確地預測學生概念有無的目標。 圖 8 為概念與試題結構的結合示意圖。圖中的長方形節點代表概念節點，其 長方形節點之間的線段代表概念間之階層關聯性，可依關聯的上下位結構來決定 欲進行施測的概念。其概念內之試題結構中的圓形節點是依概念編製的試題，其 圓形節點之間的線段代表試題之階層關聯性。當學生答對上位試題時，則判定此 試題之所有下位試題皆答對。可利用試題的上下位結構來減少施測的題數。 圖 8 概念間結構與概念內試題結構 當某位學生在此概念內試題之答對試題權重得分和大於所設定之通過決斷 值時，即認定該學生通曉此概念，或當學生在此概念內試題之錯誤試題權重得分 和大於所設定之未通過決斷值時，即認定該學生不甚瞭解或不清楚此概念。其分 數是按每一概念內的試題結構及其權重值來計算。 概念 2 概念 4 概念 1 概念 3

本研究將探討當診斷學生的概念有無時，所採取的概念施測策略： 一、 由最上位概念往下位概念施測的順序： 若某位學生在此概念內試題之答對試題權重得分和大於所設定之通過決斷 值時，則認定該學生通曉此概念，且通曉該概念的所有下位概念，即預測該概念 的所有下位概念皆為答對。 二、 由最下位概念往上位概念施測的順序： 若某位學生在此概念內試題之答錯試題權重得分和大於所設定之未通過決 斷值時，則認定該學生不清楚此概念，且預測該概念的所有上位概念皆為答錯。 本研究所建立之學生概念結構不同於專家知識結構，該結構的建立主要是以 結合專家編制之雙向細目表（也就是試題屬性矩陣）以及學生試題結構來建立學 生概念結構。該結構能夠確實地表現出學生的學習過程，若針對該結構來做補救 教學流程的依據，會比由專家手動建立的專家結構更能符合學生學習概念的過 程。以下分別介紹本研究建立學生概念結構的演算法和計算概念內試題權重的演 算法。 一、 建立學生概念結構的演算法 （一） 專家定義試題屬性矩陣Q_{m n×} 其中， m 為概念數， n 為試題數 （二） 利用 OT 軟體建立學生試題結構OS_{n n×} （order structure） （三） 利用Q×

(

R+I_n

)

T矩陣運算（布林加法代數）建立概念關聯試題矩陣CI

(

)

(

)

1, 1 0, 0 T i n _j i j _T i n _j if Q R I CI if Q R I ⎧ _{× + >=} ⎪ = ⎨ × + = ⎪⎩ i i i _i ， n 為試題數 （四） 建立學生概念結構 C 1 , if , 1, 2,..., ; 1, 2,..., 0 , else k 1, 2,..., ij i j i j C CI CI i m j m C C n = ≤ = = ⎧⎪ = ⎨ _{= =} ⎪⎩ i i

其中， m 為概念數， n 為試題數 為了說明本研究建立學生概念結構之演算流程，將以一個假定的例子來 說明： 以概念 KN-1 到 KN-4 以及試題 I1 到 I5 為例，KN-1 代表概念 1、 KN-2 代表概念 2，依此類推，底下為整個建立過程： （一） 由專家建立試題屬性矩陣Q。 I1 I2 I3 I4 I5 KN-1 1 1 0 0 0 KN-2 0 0 1 0 0 KN-3 0 1 0 1 0 KN-4 0 0 0 1 1 依專家觀點： 解試題I1需要概念KN-1；解試題I2需要概念KN-1和概念KN-3； 解試題I3需要概念KN-2；解試題I4需要概念KN-3和概念KN-4； 解試題I5需要概念KN-4。 （二） 藉由順序結構理論建立學生試題順序結構OS（order structure，簡稱OS）： 該部分是由實際施測的資料去作OT分析，獲得學生試題結構OS及可達矩陣 R ： I1 I2 I3 I4 I5 I1 0 0 0 0 0 I2 1 0 0 0 0 I3 1 1 0 0 0 I4 1 1 0 0 0 I5 1 1 0 1 0 I1 I2 I3 I4 I5

（三） 藉由 Q×

(

R+I_n

)

T之矩陣運算（布林加法運算）來獲得概念關聯試題矩陣 CI： （四） 藉由涵蓋的觀念由概念關聯試題矩陣可以視覺化整個學生概念結構C： 若某概念相關聯的試題皆涵蓋在另一概念中，稱此概念為另一概念之下位 概念。 根據所得到的概念關聯試題矩陣，因為 KN-1 內的試題涵蓋了 KN-2 的所有 題目，所以 KN-1 是 KN-2 的上位概念，以此類推。KN-1 應是最上位的概念，而 KN-2 和 KN-4 應是最下位的概念。 上述建立結構之步驟即為學生概念結構建立法則，整個流程是可程式化的。 根據以上步驟獲得的學生概念結構可做為建立整個補救教學施測流程的依 據。依據上述步驟所得之概念順序結構可作為電腦化適性診斷測驗之概念施測順 序參考，可達到結合學生試題結構建立基於學生概念結構之適性測驗的目的，即 自動化建立學生概念結構的目標。 I1 I2 I3 I4 I5 KN-1 1 1 1 1 1 KN-2 0 0 1 0 0 KN-3 0 1 1 1 1 KN-4 0 0 0 1 1 KN-1 KN-2 KN-3 KN-4 KN-1 0 0 0 0 KN-2 0 0 1 0 KN-3 1 0 0 0 KN-4 0 0 1 0 KN-1 KN-4 KN-3 KN-2

二、 計算概念內試題權重的演算法

本研究提出三個計算概念內試題權重的方法，分述如下：

（一）相等試題權重

試題權重矩陣CIW = 概念關聯試題矩陣CI

（二）可達試題權重

1. 利用矩陣乘法建立試題深度矩陣（item depth matrix，ID）

(

) ( )

1

( )

1 i i , 1, 2, 3,....,

n

ID=I + + ×i _⎣⎡ OS + − OS _⎦⎤ i= n，n為試題數

2. 建立階層深度矩陣（hierarchies depth matrix，HD）

( )

T HD= ×Q ID 3. 將HD轉換成概念試題關聯權重矩陣CIW

(

)

max 1 , if 0 0, else i ij ij ij HD HD HD CIW = ⎨⎧⎪ + − ≠ ⎪⎩ i ， 1, 2,..., ; 1, 2,..., i m j m = = 以下將以一個例子來說明本研究提出之可達試題權重演算流程：

1. 由學生試題順序結構OS建立試題深度矩陣（Item depth matrix，簡稱ID）：

I1 I2 I3 I4 I5 I1 1 0 0 0 0 I2 2 1 0 0 0 I3 3 2 1 0 0 I4 3 2 0 1 0 I5 4 3 0 2 1 I1 I2 I3 I4 I5

2. 利用 Q×

( )

ID T 建立階層深度矩陣HD 3. 將階層步數矩陣HD中不為 0 的元素，令其值=（試題關聯權重最大值+1-原 值），將HD轉換成概念試題關聯權重矩陣CIW 。 依據上述原則所建立之概念試題關聯權重矩陣即為本研究所提出之可達試 題權重。 （三）順序性機率試題權重 令概念內某試題的權重值為概念內所有試題違反該試題為下位試題的機率 總和。 1 i n ij ij jk k CIP CI ε = ⎛ ⎞ = _{×⎜⎜ ⎟⎟} ⎝

∑

⎠， 1, 2,..., 1, 2,..., 1, 2,..., _i i m j n k n = = = ，n_i為概念內試題數 CIW=（CIPij）m ×n jk ε 為利用 OT 演算法計算出來的違反順序性的機率 我們可分別利用上述之三種概念試題關聯權重矩陣CIW作為選題策略，其值 越大，代表該試題越重要，我們將優先選擇學生概念結構中與該概念之試題關聯 I1 I2 I3 I4 I5 KN-1 1 3 5 5 7 KN-2 0 0 1 0 0 KN-3 0 1 2 3 5 KN-4 0 0 0 1 3 I1 I2 I3 I4 I5 KN-1 7 5 3 3 1 KN-2 0 0 1 0 0 KN-3 0 5 4 3 1 KN-4 0 0 0 3 1

本研究將分別比較所提出之三種適性測驗演算法與專家策略及 OT 程序，以 不同概念施測順序模擬適性測驗程序，並評估其成效。

第四節 適性測驗成效評估方法

本 研 究 評 估 基 於 學 生 概 念 結 構 之 演 算 法 的 成 效 是 使 用 5-fold cross validation 的方法，也就是將紙筆測驗所有收集的樣本平均切成五等分，將其 中四等分做為訓練樣本（training samples），利用訓練樣本去估計出學生概念結 構以及概念試題關聯矩陣，另一等分做為測試樣本（testing samples），利用測 試樣本來進行模擬適性測驗，如此步驟一直循環五次，計算出每一次的精確度 和節省試題比率，再將五次的結果平均，即為最後的預測精確度和平均節省試 題比率。 本研究中的「預測精確度」是指以專家判定概念有無的結果為基準，其電 腦適性測驗的概念有無診斷結果與其接近程度。換句話說，預測精確度的概念 即是電腦適性測驗的結果和專家的判定結果應該要是越接近越好。藉由預測精 確度的計算可以提供本研究一個實證的方式，表 7 為作答反應次數分配表，而 預測精確度的計算方式如下所示： 表 7 作答反應次數分配表 電腦適性結果 對（1） 錯（0） 對（1） f11 f10 專家判定 結果 錯（0） f01 f00 預測精確度= f11 f00 M +

其中，M 為概念數； f₁₁為電腦適性測驗判斷該概念為答對，專家也判定答 對的個數；f₁₀電腦適性測驗判斷該概念為答錯，專家判定時卻為答對的個數；f₀₁ 為電腦適性測驗判斷該概念為答對，專家判定時卻答錯的個數；而 f₀₀為電腦適性 測驗判斷該概念為答錯，專家也判定答錯的個數。 而本研究中所指的「平均節省試題比率」為適性測驗比實際施測時，所不須 作答的題數。設A為適性測驗所需要施測試題數，N為試題數。 節省試題比率= N A N − 本研究之電腦適性測驗演算法的優劣可由概念的預測精確度及平均節省施 測試題數比率等兩方面加以評估，通常精確度和節省試題比率越高越好，但兩者 之間很難兼顧（曾彥鈞，2007）。

第五節 研究範圍

本研究由於時間、資源及人力限制的考量，本研究將採用的「94年康軒版第 八冊第十單元面積單元測驗作答資料」，是國立台中教育大學許雅菱（2005）所 收集之受試者作答資料，共有18題由文獻探討整理歸納出的5個概念編製而成之 試題，其受試者人數為256人，研究將利用此資料進行模擬電腦適性測驗程序， 評估此基於學生概念模式之適性選題程序的效果。

第六節 研究工具

本研究的研究工具為「MATLAB 7.1」軟體與「OT」軟體。 一、MATLAB 7.1 「MATLAB 7.1」是一高階科學運算語言、可分析資料與發展演算法和應用 之互動式環境。MATLAB 7.1中涵蓋了許多新功能，可讓程式撰寫、編碼、繪圖

因此，本研究將利用MATLAB軟體來撰寫建立學生概念結構及試題權重之程 式，並藉此模擬電腦化適性測驗，評估以學生概念結構為基礎及以專家知識結構 為基礎之適性測驗選題策略之成效。 二、OT軟體 本研究所使用之OT軟體為郭伯臣及田聖才所開發之順序理論應用軟體，該軟 體是利用順序理論來計算試題的順序關係與各試題違反順序性之機率矩陣，本研 究擬利用此OT軟體將學生之測驗作答資料建立學生的試題結構。

第四章 研究結果

由於本研究之主要目的為開發一套基於學生概念結構之適性診斷測驗演算 法，並利用模擬國小四年級學童「面積」單元之適性測驗程序，探討基於學生概 念結構之不同適性測驗演算法與基於專家策略及基於OT程序之適性測驗成效。 本章將以不同施測順序（施測順序有由最下位概念往上位概念施測和由最上 位概念往下位概念施測兩種）和不同的答對比率通過決斷值兩個變項來探討不同 適性程序之成效。 若概念的答對比率通過決斷值都定在1/2，也就是答對概念內一半試題權重以 上，就判定該概念為答對，但通過決斷值為1/2又過於寬鬆；但若答對比率通過決 斷值設定為1，也就是要答對概念內所有的試題，才判定受試者該概念為答對， 但這樣的標準似乎又過於嚴格。因此，本研究概念內試題答對比率通過決斷值的 範圍定在0.6 ~ 0.9間，也就是說，只要當某概念之試題答對比率大於所設定之通 過決斷值，即認定該概念為答對。 本研究探討之不同適性測驗程序分別為利用「可達試題權重（step weight， 簡稱為S.W）」、「相等試題權重（equal weight，簡稱為E.W）」與「順序性機 率試題權重（ordering probability weight，簡稱為P.W）」計算試題權重分數之概 念內試題施測策略、基於「專家策略（expert strategy，簡稱為EX）」之適性測驗 程序以及基於「OT」之適性測驗程序（簡稱為OT），共比較上述五個不同的方 法。 其研究結果詳述如下： 在建立學生概念結構後，概念內試題答對比率通過決斷值對於判斷該概念有 無有著相當大的影響。因此，以下對於不同答對比率通過決斷值（0.6 ~ 0.9）之 各適性測驗程序的預測精確度（accuracy，簡稱為 ACC）以及平均節省試題比率 （saved item rate，簡稱為 SIR）進行探討。

一、在不同答對比率通過決斷值，以學生概念結構為基礎之適性

測驗程序成效（施測順序由下位概念先開始施測）

以下將以不同通過決斷值為項目，在施測順序為由下位概念先施測的原則下 （選擇上位節點數最多的概念內之試題先作施測，若該節點認定為答錯，則判定 其上位節點皆為答錯），探討各適性測驗程序之成效。 （一）通過決斷值為 0.6，不同適性測驗程序之成效 由表 8、表 9 與圖 9、圖 10 可看出當答對比率通過決斷值為 0.6 時，本研究 所提出之適性測驗程序可以有效地診斷學生的概念有無，且能有效地節省試題比 率。其中，以相等權重其預測精確度較差，但至少都有七成以上的精確度。 本研究提出之適性測驗選題策略「可達試題權重」、「順序性機率試題權重」 之預測精確度與節省試題比率皆較 OT 程序之成效好。 其中，以「順序性機率試題權重」之適性測驗程序之成效為最佳，其預測精 確度皆在八成五以上，且節省試題比率皆在五成以上。 表 8 通過決斷值為 0.6，不同適性測驗程序之預測精確度 順序結構理論之閾值 ACC 0.01 0.015 0.02 0.025 0.03 0.035 S.W 85.94% 85.92% 85.71% 85.25% 85.02% 82.82% E.W 77.96% 77.80% 76.86% 76.24% 75.22% 73.49% P.W 91.06% 90.98% 91.14% 91.06% 90.59% 89.25% EX 84.31% 84.31% 84.31% 84.31% 84.31% 84.31% OT 80.63% 80.63% 80.47% 80.39% 79.84% 79.22% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 82.12% 81.96% 81.18% 81.57% 80.71% 85.94% E.W 72.71% 73.10% 74.12% 74.12% 74.27% 77.96% P.W 88.31% 87.37% 86.35% 86.59% 86.51% 91.06% EX 84.31% 84.31% 84.31% 84.31% 84.31% 84.31% 不同適性測驗程序

表 9 通過決斷值為 0.6，不同適性測驗程序之節省試題比率 順序結構理論之閾值 SIR 0.01 0.015 0.02 0.025 0.03 0.035 S.W 38.76% 41.05% 41.90% 44.25% 44.68% 45.32% E.W 35.23% 37.41% 34.95% 39.69% 38.02% 41.35% P.W 50.17% 52.05% 54.07% 55.51% 56.23% 57.58% EX 23.07% 23.07% 23.07% 23.07% 23.07% 23.07% OT 23.51% 26.34% 27.86% 30.63% 33.94% 40.17% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 49.24% 51.61% 58.04% 64.84% 67.25% 67.25% E.W 42.70% 39.78% 41.53% 46.10% 49.65% 49.65% P.W 58.80% 59.87% 63.77% 66.06% 67.82% 58.80% EX 23.07% 23.07% 23.07% 23.07% 23.07% 23.07% 不同適性測驗程序 OT 46.08% 53.07% 59.26% 63.38% 66.12% 66.12% 70% 75% 80% 85% 90% 95% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 _Threshold ACC SW EW PW EX OT 圖 9 通過決斷值為 0.6，不同適性測驗程序之預測精確度 20% 30% 40% 50% 60% 70% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 _Threshold SIR SW EW PW EX OT 圖 10 通過決斷值為 0.6，不同適性測驗程序之節省試題比率

（二）通過決斷值為 0.65，不同適性測驗程序之成效 由表 10、表 11 與圖 11、圖 12 可看出當答對比率通過決斷值為 0.65 時，本 研究所提出之適性測驗程序可以有效地診斷學生的概念有無，且能有效地節省試 題比率。當順序理論之閾值越小時，各適性測驗程序其預測精確度皆上升，節省 試題比率則隨著閾值越大而越高。 本研究提出之適性測驗選題策略「可達試題權重」與「順序性機率試題權重」 之預測精確度與節省試題比率皆較 OT 程序之成效好。其中，以「順序性機率試 題權重」之適性測驗程序之成效為最佳，「相同試題權重」之選題策略其預測精 確度則 OT 程序相差不多，至少都有七成五以上的精確度，但「相同試題權重」 之節省試題比率較差。 表 10 通過決斷值為 0.65，不同適性測驗程序之預測精確度 順序結構理論之閾值 ACC 0.01 0.015 0.02 0.025 0.03 0.035 S.W 89.94% 89.29% 88.61% 88.47% 88.55% 87.84% E.W 80.47% 79.69% 79.29% 79.06% 79.92% 78.35% P.W 90.82% 90.67% 90.75% 90.67% 90.12% 89.33% EX 84.31% 84.31% 84.31% 84.31% 84.31% 84.31% OT 80.63% 80.63% 80.47% 80.39% 79.84% 79.22% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 85.96% 85.96% 85.88% 85.18% 83.37% 89.94% E.W 76.71% 77.96% 77.33% 77.02% 76.63% 80.47% P.W 88.78% 88.55% 87.92% 88.00% 87.37% 90.82% EX 84.31% 84.31% 84.31% 84.31% 84.31% 84.31% 不同適性測驗程序 OT 78.59% 77.88% 76.94% 76.24% 75.22% 80.63%

表 11 通過決斷值為 0.65，不同適性測驗程序之節省試題比率 順序結構理論之閾值 SIR 0.01 0.015 0.02 0.025 0.03 0.035 S.W 36.60% 39.61% 39.80% 43.05% 43.53% 45.01% E.W 26.45% 28.95% 28.52% 31.42% 31.83% 34.60% P.W 48.00% 48.74% 51.46% 54.84% 57.10% 59.13% EX 23.07% 23.07% 23.07% 23.07% 23.07% 23.07% OT 23.51% 26.34% 27.86% 30.63% 33.94% 40.17% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 50.09% 52.64% 58.47% 63.88% 65.84% 65.84% E.W 34.95% 33.36% 36.08% 40.96% 43.94% 43.94% P.W 61.22% 62.40% 67.10% 68.91% 70.41% 70.41% EX 23.07% 23.07% 23.07% 23.07% 23.07% 23.07% 不同適性測驗程序 OT 46.08% 53.07% 59.26% 63.38% 66.12% 66.12% 75% 80% 85% 90% 95% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 _Threshold ACC SW EW PW EX OT 圖 11 通過決斷值為 0.65，不同適性測驗程序之預測精確度 20% 30% 40% 50% 60% 70% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 _Threshold SIR SW EW PW EX OT 圖 12 通過決斷值為 0.65，不同適性測驗程序之節省試題比率

（三）通過決斷值為 0.7，不同適性測驗程序之成效 由表 12、表 13 與圖 13、圖 14 可看出當答對比率通過決斷值為 0.7 時，本研 究所提出之適性測驗程序可以有效地診斷學生的概念有無，且能有效地節省試題 比率。當順序理論之閾值越小時，各適性測驗程序其預測精確度皆上升，節省試 題比率則隨著閾值越大而越高。 本研究提出之適性測驗選題策略「可達試題權重」之預測精確度與節省試題 比率皆較 OT 程序之成效好。其中，「順序性機率試題權重」之選題策略其預測精 確度則 OT 程序無明顯的差異，但節省試題比率為各適性測驗程序中最好。 表 12 通過決斷值為 0.7，不同適性測驗程序之預測精確度 順序結構理論之閾值 ACC 0.01 0.015 0.02 0.025 0.03 0.035 S.W 94.29% 93.79% 93.49% 93.41% 92.08% 89.88% E.W 85.96% 86.20% 86.04% 85.88% 85.02% 82.67% P.W 89.61% 89.47% 89.18% 89.57% 89.41% 89.25% EX 93.73% 93.73% 93.73% 93.73% 93.73% 93.73% OT 91.14% 90.82% 90.82% 90.67% 89.65% 87.84% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 88.63% 88.47% 87.14% 86.43% 84.71% 94.29% E.W 82.12% 80.94% 78.90% 78.75% 78.75% 86.20% P.W 88.47% 88.39% 87.29% 86.98% 86.20% 89.61% EX 93.73% 93.73% 93.73% 93.73% 93.73% 93.73% 不同適性測驗程序 OT 86.75% 85.25% 83.53% 82.35% 81.10% 91.14%

表 13 通過決斷值為 0.7，不同適性測驗程序之節省試題比率 順序結構理論之閾值 SIR 0.01 0.015 0.02 0.025 0.03 0.035 S.W 35.25% 38.69% 39.17% 41.18% 41.92% 45.01% E.W 21.87% 22.22% 23.55% 24.14% 25.05% 26.73% P.W 51.55% 50.72% 52.05% 53.86% 54.01% 57.47% EX 22.59% 22.59% 22.59% 22.59% 22.59% 22.59% OT 23.51% 26.34% 27.86% 30.63% 33.94% 40.17% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 49.87% 53.07% 58.39% 63.92% 65.93% 65.93% E.W 30.39% 32.37% 33.55% 36.45% 39.52% 39.52% P.W 59.96% 61.72% 65.95% 68.76% 70.52% 70.52% EX 22.59% 22.59% 22.59% 22.59% 22.59% 22.59% 不同適性測驗程序 OT 46.08% 53.07% 59.26% 63.38% 66.12% 66.12% 75% 80% 85% 90% 95% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 _Threshold ACC SW EW PW EX OT 圖 13 通過決斷值為 0.7，不同適性測驗程序之預測精確度 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 Threshold SW EW PW EX OT SIR 圖 14 通過決斷值為 0.7，不同適性測驗程序之節省試題比率

（四）通過決斷值為 0.75，不同適性測驗程序之成效 由表 14、表 15 與圖 15、圖 16 可看出當答對比率通過決斷值為 0.75 時，本 研究所提出之適性測驗程序可以有效地診斷學生的概念有無，且能有效地節省試 題比率。當順序理論之閾值越小時，各適性測驗程序其預測精確度皆上升，節省 試題比率則隨著閾值越大而越高。 本研究提出之適性測驗選題策略「可達試題權重」之預測精確度與節省試題 比率皆較 OT 程序好。其中，以「順序性機率試題權重」之節省試題比率在各適 性測驗程序中為最好，但其精確度較 OT 程序差。 表 14 通過決斷值為 0.75，不同適性測驗程序之預測精確度 順序結構理論之閾值 ACC 0.01 0.015 0.02 0.025 0.03 0.035 S.W 95.14% 94.51% 94.43% 94.04% 92.86% 92.39% E.W 86.59% 86.59% 86.98% 86.98% 87.53% 86.98% P.W 88.98% 88.98% 88.98% 88.67% 88.65% 88.45% EX 93.73% 93.73% 93.73% 93.73% 93.73% 93.73% OT 91.14% 90.82% 90.82% 90.67% 89.65% 87.84% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 90.67% 89.73% 87.06% 86.98% 85.49% 94.51% E.W 85.65% 84.39% 84.31% 84.16% 83.53% 87.53% P.W 87.78% 86.82% 85.92% 85.73% 85.10% 87.78% EX 93.73% 93.73% 93.73% 93.73% 93.73% 93.73% 不同適性測驗程序 OT 86.75% 85.25% 83.53% 82.35% 81.10% 91.14%

表 15 通過決斷值為 0.75，不同適性測驗程序之節省試題比率 順序結構理論之閾值 SIR 0.01 0.015 0.02 0.025 0.03 0.035 S.W 33.44% 36.12% 38.45% 40.85% 42.96% 45.97% E.W 20.63% 20.92% 19.56% 20.04% 22.00% 24.12% P.W 20.61% 20.89% 20.04% 20.41% 22.00% 24.12% EX 22.59% 22.59% 22.59% 22.59% 22.59% 22.59% OT 23.51% 26.34% 27.86% 30.63% 33.94% 40.17% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 51.20% 53.36% 59.06% 64.86% 67.28% 67.28% E.W 27.10% 27.02% 28.54% 34.07% 36.86% 36.86% P.W 28.17% 26.45% 28.54% 34.07% 36.86% 36.86% EX 22.59% 22.59% 22.59% 22.59% 22.59% 22.59% 不同適性測驗程序 OT 46.08% 53.07% 59.26% 63.38% 66.12% 66.12% 80% 82% 84% 86% 88% 90% 92% 94% 96% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 Threshold ACC SW EW PW EX OT 圖 15 通過決斷值為 0.75，不同適性測驗程序之預測精確度 10% 20% 30% 40% 50% 60% 70% 0.010 0.015 0.020 0.025 0.030 0.035 0.040 0.045 0.050 0.055 0.060 Threshold SIR SW EW PW EX OT 圖 16 通過決斷值為 0.75，不同適性測驗程序之節省試題比率

（五）通過決斷值為 0.8，不同適性測驗程序之成效 由表 16、表 17 與圖 17、圖 18 可看出當答對比率通過決斷值為 0.8 時，本研 究所提出之適性測驗程序可以有效地診斷學生的概念有無，且能有效地節省試題 比率。各適性測驗程序之預測精確度皆達七成五以上，節省試題比率則隨著閾值 越大而越高，當順序理論之閾值越小時，各適性測驗程序其預測精確度皆上升。 本研究提出之適性測驗選題策略「可達試題權重」與 OT 程序之預測精確度 同在預測精確度在 95％時，其節省試題比率較 OT 程序好。 表 16 通過決斷值為 0.8，不同適性測驗程序之預測精確度 順序結構理論之閾值 ACC 0.01 0.015 0.02 0.025 0.03 0.035 S.W 95.45% 95.14% 94.43% 94.27% 93.18% 91.53% E.W 94.82% 93.88% 93.33% 92.39% 92.00% 91.22% P.W 81.29% 80.92% 80.55% 80.47% 79.84% 79.92% EX 96.08% 96.08% 96.08% 96.08% 96.08% 96.08% OT 98.75% 98.59% 98.51% 98.35% 96.86% 94.98% 順序結構理論之閾值 0.04 0.045 0.05 0.055 0.06 MAX S.W 90.67% 90.12% 88.31% 85.18% 84.16% 95.45% E.W 89.33% 86.67% 86.67% 85.88% 85.49% 94.82% P.W 79.53% 79.69% 78.67% 78.27% 77.65% 81.29% EX 96.08% 96.08% 96.08% 96.08% 96.08% 96.08% 不同適性測驗程序 OT 93.49% 91.84% 90.59% 89.33% 88.39% 98.75%