結合知識結構之認知診斷適性測驗演算法

根據Cheng (2009)的研究顯示，在 DINA 模式下，以 PWKL 法與 HKL 法作 為認知診斷測驗的選題法有較佳的診斷辨識率。KSAT 選題法是依知識結構來選 題，利用結構的連接關係獲得更多的訊息。故本研究將PWKL 法、HKL 法與 SHE 法結合知識結構方法進行適性測驗選題，是分別以PWKL 法及 HKL 法全域搜尋 選題及 SHE 法選擇後驗分布較集中試題之優點，再加入 KSAT 方法的判斷準則 獲得更多訊息來進行診斷，期望融入知識結構所提供的訊息能獲得更佳的診斷精 準度，本研究將此選題法稱為PWKL_KSAT 法、HKL_KSAT 法、SHE_KSAT 法。

本研究結合知識結構之選題法是分別以PWKL 法、HKL 法與 SHE 法等來選 題，將選出的試題皆依照知識結構來判定其下位試題是否精熟，若選出之試題答 對，則認定其下位試題已精熟，無需再測，若選出之試題答錯，則表示尚未精熟 此試題，其下位試題仍需測量。然而，因PWKL 法、HKL 法與 SHE 法並非依照 KSAT 選題法來選題，有可能選到在知識結構中為下位的試題，依照順序理論，

若選到下位試題且答錯，則判定其上位試題未精熟；若下位試題答對，其上位試 題狀態無法得知，故不做任何判斷。

綜合上述，本研究結合知識結構之選題法的判斷準則為：若選到試題答對，

則預測其下位未施測之試題也精熟；若選到試題答錯，則預測其上位未施測之試 題未精熟，若其上位試題為先前其他試題的預測題並預測答對的情況下，需將此 預測題判斷為未精熟，因依照順序理論，下位試題答錯，其上位試題必未精熟。

以圖2-2 為例，假設第一題選到試題 C 且答對，則預測其下位試題 F、G、H、

本研究是以試題的概似函數（likelihood function）作為訊息函數來控制閾值 的大小，公式如下

由於在DINA 模式估計下，隨著施測題數的增加，最後估計會越來越精準，

因此無需再加入更多訊息來提升診斷辨識率，而且加入的訊息若預測錯誤，則會 導致估計誤差變大，反而降低診斷辨識率，故本研究知識結構的閾值隨著試題增 加而遞減。

在本研究各個模擬實驗中，受試者樣本皆為同一群受試者，因此，隨著Q 矩 陣平均測量的屬性數越多，受試者的平均通過率會相對地越低。然而在題庫試題 為較難的情況下，兩試題間違反順序的機率在每個試題皆相差不多，以致於其知 識結構會比較弱，若在選題的時候閾值降低的幅度是固定的情況下，納入預測試 題的數量會隨著知識結構越弱而越少，而降低結合知識結構選題法所帶來的效 益，因此，閾值的變動幅度，應隨著題庫試題平均通過率而有所不同。

以平均測量1.2、3.6 個屬性的 Q 矩陣為例，平均測量 1.2 個屬性的 Q 矩陣平 均通過率為0.4481，平均測量 3.6 個屬性的 Q 矩陣平均通過率為 0.2601，若在這 兩種Q 矩陣設計中將 p 值皆設為相同時，在施測題數為 12 題的情況下，診斷辨 識率如表3-1 所示，表 3-1 僅呈現 PWKL 法與 PWKL_KSAT 法的結果。在平均測 量 1.2 個屬性的 Q 矩陣中，當 p=0.01 時，結合知識結構選題法的成效會比當 p=0.001 來的好；反之，在平均測量 3.6 個屬性的 Q 矩陣中，當 p=0.01 時，結合 知識結構選題法的成效反而沒有比當 p=0.001 來的好，由此可知，在平均測量 1.2 個屬性的Q 矩陣下，閾值降低的幅度要比平均測量 3.6 個屬性的 Q 矩陣來的快，

結合知識結構選題法表現才會比較好。因此，閾值的變動幅度，應隨著題庫平均 通過率越低而設定越小。

表3-1 固定 p 值下結合知識結構選題法之診斷辨識率

Q 矩陣 Q_1.2 Q_3.6

PWKL 0.9757 0.9488 平均屬性辨識率

PWKL_KSAT 0.9758 0.9532 PWKL 0.8681 0.7832 p=0.01

整體屬性辨識率

PWKL_KSAT 0.8682 0.7989 PWKL 0.9771 0.9470 平均屬性辨識率

PWKL_KSAT 0.9608 0.9539 PWKL 0.8792 0.7793 p=0.001

整體屬性辨識率

PWKL_KSAT 0.7968 0.7997 本研究在各個Q 矩陣設計中，p 值的設定如表 3-2 所示。因此建議 p 值設定

確定性的試題移除。