第一節 研究動機
自從美國開始實施 No Child Left Behind Act(2001)教育法案後,開始要求必須 提供給教師、家長、學生測驗診斷結果,而此結果必須能清楚地讓教師、家長、
學生瞭解學生在每一個學科中有哪些概念是精熟(master),有哪些概念是需要再加 強的,也就是必須進行補救教學的(Cheng, 2009)。Tatsuoka 與 Tatsuoka(1997)指出,
在預試、補救教學、後測的過程中,於補救教學前瞭解學生的知識狀態是很有幫 助的。故此一法案有助於讓教師、家長瞭解學生在學習過程中的學習盲點,進而 針對這些學習盲點來設計適性化之補救教學,對症下藥地提升學生之能力。
然而傳統之測驗以試題反應理論(Item Response Theroy,IRT)為基礎,主要 在提供估計受試者的整體潛在能力,此一估計值適用於排序受試者在團體中之序 位,但並不適合於提供受試者是否精熟概念之程度。因此 Nichols(1994)提出將認 知科學(cognitive science)與心理計量學(psychometrics)結合,所創新的測驗 診斷方法稱為認知診斷模式(cognitive diagnosis models,CDMs)。藉由認知診 斷模式可以診斷出受試者有哪些概念需要補救教學之訊息,意即提供受試者之估 計二元潛在認知狀態。目前在認知診斷模式中,以 DINA 模式(Deterministic Inputs, Noisy “and” Gate Model)最為常見。
目 前 因 為 電 腦 與 網 路 之 蓬 勃 發 展 , 加 上 電 腦 化 適 性 測 驗 ( computerized adaptive testing, CAT)在效率、安全上都比紙筆測驗來得更佳(Chang, 2004)。
結 合 上 述 之 認 知 診 斷 模 式 與 電 腦 化 適 性 測 驗 的 認 知 診 斷 電 腦 化 適 性 測 驗
(cognitive diagnosis computerized adaptive testing,CD-CAT)是目前很重要的研 究議題(Huebner, 2010)。而為了達成適性化的目標,選題法的研究就成了一重
提出基於 Kullback-Leibler 訊息的 KL 法以及基於 Shannon Entropy 的 SHE 法,
Cheng ( 2009 ) 提 出 基 於 Kullback-Leibler 訊 息 的 後 驗 加 權 KL 法
(Posterior-weighted KL information, PWKL)以及合併 KL 訊息與潛在狀態間的距 離法(Hybrid KL, HKL)。Xu 等發現 SHE 法較 KL 法為佳,而 Cheng(2009)又發 現 PWKL 法與 HKL 法都較 SHE 法為佳,但 PWKL 法與 HKL 法則不相上下。
在認知診斷模式中,題庫中的每個試題至少都需要一個以上的認知概念才能 答對,而將上述整個題庫的認知概念以矩陣來表示即為 Q 矩陣(Tatsuoka, 1985)。
然而在上述的選題法中,並未對已做過之試題與未做過之試題的 Q 矩陣有任何著 墨。因此,本研究欲探討在選題法中加入一權重,此權重為受試者已做過之試題 與未做過之試題 Q 矩陣之比較,探討加入此一權重後,是否會影響電腦化適性認 知診斷測驗之辨識率。此外,上述之選題法在測驗初期,皆有因訊息量不足而導 致辨識率較低之狀況,故本研究欲以增加認知概念組型來計算訊息量,以便提升 測驗初期之辨識率。
因此,本研究欲提出新的選題法,加上概念加權,再藉由模擬研究來探討在 選題的過程中,新的選題法是否可提升受試者認知概念組型之辨識率。此外,卓 淑瑜(2011)的研究指出 Q 矩陣平均測量認知概念數愈高,診斷辨識率會愈低。
因此本研究也欲探討本研究所提出之新選題法是否也會有相同之結果。
第二節 研究目的
本研究藉由提出新的選題法,加上概念加權,來探討新的選題法之成效。此 外,卓淑瑜(2011)的研究指出 Q 矩陣平均測量認知概念數愈高,診斷辨識率會 愈低。因此本研究也欲探討本研究所提出之新選題法是否也會有相同之結果。
綜合上述之原因,本研究之研究目的為:
一、 提出結合概念加權之認知診斷適性測驗選題法。
二、 比較不同選題法在模擬資料上之診斷辨識率。
三、 比較不同選題法在不同 Q 矩陣設計下對診斷辨識率之影響。
第三節 名詞釋義
壹、認知診斷模式
認知診斷模式可用來估計受試者對認知概念精熟與否,所提供之訊息,可用 以表現受試者的學習成果與補救教學的資料。
貳、診斷辨識率
診斷辨識率是以在模擬研究中認知診斷模式的估計診斷概念與受試者之真 實概念相同之比率。在實徵資料中,真實的狀態是不可知的,因此本研究以專家 判斷之結果作為校標,計算認知診斷模式估計的結果與專家判斷結果之一致之比 率作為診斷辨識率。
參、認知概念加權
本研究提出認知概念加權是根據已做過的試題與題庫進行 Q 矩陣的比對,依 概念重複測量的比率進行加權調整選題法,比對方式分為認知概念組型及單一認 知概念兩類,目的是希望較少施測過的概念的試題,計算方法詳述於第三章研究 方法中。
肆、候選認知概念組型
一般來說,都是將受試者估計認知概念組型代入選題法中來求出下一題的訊 息量。本研究提出之候選概念認知組型是除了使用受試者估計認知概念組型外,
還加上其他估計機率次大之概念認知組型,一同代入選題法中來求出訊息量。