電腦化適性測驗

壹、以知識結構為基礎之電腦化適性測驗

「以知識結構為基礎之適性化測驗系統 (Knowledge Structure based Adaptive Test, KSAT)」是依據學生知識結構而設計的適性施測系統，其可由不同學生的 作答情形而給予適合學生本身程度之相關試題，藉此能省去大量的試題並準確 分析學生有哪些待加強的概念，且透過此系統能將學生課堂後的評量數位化及 網路化提升學習效率，進而達到「因材施測」及「因材施教」之目的 (郭伯臣、

謝友振、張峻豪、蔡坤穎，2005；劉清源，2010) 。以下為建置各知識結構之方 法與功能如下 (劉育隆、曾筱倩、郭伯臣，2006) ：

(一) 建立專家知識結構及命題

專家知識結構是指經由專業且豐富教學經驗的國小教師群，編製各單元知 識結構草案，再共同使用知識結構檢核表，建立較客觀的知識結構。建立完畢 後，再依據此方式命題，並以電腦化適性診斷測驗之檢核表檢核試題，檢核完 畢後進行組卷以利紙筆測驗之進行。

(二) 進行預試且分析所蒐集的資料並建立學生結構

預試完畢後，收集考卷並將所有學生的作答反應匯入電腦，分析整份試卷 的信度，以及分析每一個試題其古典測驗理論及試題反應理論的難度、鑑別 度、猜測度，以提供審題、修題之參考。最後使用 OT 演算法之方式，分析出選 題策略的相關矩陣，建立出適當的學生知識結構，以便系統準確出題，進而縮 短施測時間。

14 斷方法稱為認知診斷模式 (cognitive diagnosis models, CDMs) ，綜合上述論點，

本研究是以認知診斷做為基礎之動態評量電腦化適性測驗，此模式在下一個章 節會詳細說明。

貳、以認知診斷為基礎之電腦化適性測驗

最初是由美國在2001年落實No Child Left Behind Act教育法案，其不希望讓 任一孩子落後，因此美國開始要求必須提供給學生測驗診斷結果，且此結果必 須能清楚地讓教師、家長、學生瞭解學生在每一個學科中有哪些概念屬性是精 熟，有哪些概念屬性是需要再加強的 (Cheng, 2009) 。因此認為認知診斷模式 (cognitive diagnosis models, CDMs) 是可以使用在判斷受試者優勢與劣勢的心理 計量學模式，根據學生是否精熟試題所需之概念屬性而形成答對機率的模式 (卓

15

16

一個潛在向量𝛂_𝑖 = (α_𝑖1, α_𝑖2, … , α_𝑖𝑘) 來表示受試者是否精熟每一個認知概念，其 中α_𝑖𝑘 = 1表示第i位受試者精熟第k個認知概念，α_𝑖𝑘 = 0則表示未精熟第𝑘個認知 概念，其公式 (3) 概念屬性如下 (Tatsuoka, 1985；涂金堂，2003) ：

𝑞_𝑖𝑘 = {1 受試者i精熟第 k 認知屬性

0受試者i不精熟第 k 認知屬性 (3) 以下以本研究試題及學生其整數四則之認知診斷Q矩陣為例：

表2-6為整數四則的認知屬性，表2-7為測驗學生是否具備整數四則的認知屬 性而設計的題目，表2-8為整數四則範例題之Q矩陣，由表2-8可知，解此題目需 具備認知屬性1，最後表2-9為學生是否精熟每一個認知概念，精熟則為1，反之 則為0。

表 2-6

整數四則的認知屬性

認知屬性 敘述

A1 能理解橫式計算方式是由左而右計算。

A2 能清楚括號內的算式必須先運算。

A3 能運用乘法結合律讓計算過程簡化。

A4 能熟練先乘除後加減的運算規則。

A5 能理解題意，並列成一個算式。

A6 能理解連除兩數相當於除以此兩數之積。

17

G-DINA、HO-DINA 三種模式，以下將詳細說明此三種模式。

18

一、DINA模式

DINA 模式是假設學生具備試題所需具有之認知概念屬性時，在理想狀態下 就代表會答對該題，也就是𝛸_𝑗＝１；反之，缺乏任一個需要的概念屬性時，則會 答錯試題，也就是𝛸_𝑗＝０，然而實際上答對機率是會受到粗心 (slipping) 與猜測 (guessing) 兩參數所影響，因此 DINA 模式之試題反應模式公式 (4) (5) 如下 (卓淑瑜，2011；白曉珊、楊智為、郭伯臣、陳俊華，2012；楊智為、郭伯臣、

吳慧珉、江鴻鈞，2012) ：

𝛲(𝛸_𝑖𝑗= 1|𝛼,𝑠, g) = (1­𝑠_𝑗)^𝜂𝑖𝑗g_𝑗^{(1­𝜂𝑖𝑗)} (4) 其中，

𝜂_𝑖𝑗= ∏ 𝛼^𝑞_𝑖𝑘^𝑗𝑘

𝛫

𝑘=1

(5) 𝜂_𝑖𝑗：表示學生i是否完全精熟試題𝑗所需具備的認知屬性，完全具備其值為 1，反之，缺少一個以上所需的認知屬性其值為0。

𝛼_𝑖𝑘：表示學生𝑖是否具備認知屬性𝑘，具備該屬性其值為1，反之為0。

𝑞_𝑗𝑘：表示此試題𝑗是否需要認知屬性𝑘需要該屬性其值為1，反之為0。

𝑠_𝑗：表示學生完全精熟此試題所需的認知屬性卻因為粗心，而答錯此題的機 率。

g_𝑗：表示學生缺少一個以上試題所需的認知屬性卻因為猜測而答對此題的 機率。

以下為本研究之學生的認知屬性狀態表 2-10、表 2-11 為例且說明之：

19

20

(generalized deterministic inputs, noisy “and” gate, G-DINA) 模式，此模式對於學 生在分類群體時，會細分為2^𝑘∗𝑗個組別，𝑘_𝑗^∗為試題所測量的最大概念屬性數，但

21

de la Torre與Douglus (2004) 為了間接觀察學生其認知狀態與能力間之關 係，且減少DINA模式在估計學生認知屬性計算上的負擔，因此提出 (higher-order deterministic inputs, noisy “and” gate, HO-DINA) 模式，假設元素𝜃_𝑖條件為獨 立，且在給定高階的潛在特質𝜃_𝑖狀態下，其學生認知屬性分布與精熟屬性的機率 (de la Torre & Lee, 2010) 。Leighton, Gierl and Hunka (2004) 也發現在估計學生 認知屬性時，是可避免不必要的屬性組合之數，如此一來，則可合理的將階層 式架構加進認知屬性中 (卓淑瑜，2011) 。

綜合上述三種模式，其中又以 DINA 模式最為簡單也最為常見，因此本研究 是以 DINA 模式為基礎，而其餘的兩種可在未來做為其他研究之考量。

22