實驗設計

        本研究探討加入建構反應題比較分析認知診斷模式參數估計之成效：一為將 不同比例的受試者之認知屬性標記為已知；一為透過建構反應題，將部分的認知 屬性定義為已知的標籤。

壹、模擬實驗設計

此部分使用模擬樣本資料的實驗方式，模擬不同認知屬性分佈與不同能力分 佈的受試者，對試題參數不變性估計的準確性與受試者認知屬性的診斷診斷辨識 率的影響。

一、模擬受試者人數

本模擬實驗設計依據實證資料所取樣本人數 312 人採用隨機抽樣，共抽出十 筆資料。

二、屬性個數 屬性 12 個。

三、參數設定

參數設定 s 和 g 分佈均為 uniform（0.1,0.45）

在DINA 模式下進行人數 10~50%的屬性診斷辨識率的模擬比較。

貳、實證資料設計

本研究目的之ㄧ在建置建構反應題之電腦適性診斷測驗，以下對試題編製的 過程進行說明：

一、建立內容效度

研究者與學科專家以及具有多年教學經驗的國小老師共同制訂「體積、容量 與容積」的課程內容範圍，整理出該範圍內共12 個認知屬性；由文獻中探討錯

誤類型錯誤類型如表3-3-1；並建立專家知識結構如圖 3-3-1 與原始 Q 矩陣，同時 依據分析受試者建構反應題解題歷程與個別晤談建立本研究效標。

二、紙筆測驗試題

確定專家知識結構後，以每個題目包含1～4 個認知屬性為原則，試題有兩 種題型共24 題，分別為「選擇題」、「建構反應題」，編製後命題卡例題如表3-3-2，

完整內容詳見附件一，試題完整紙筆測驗試題內容如附件二。

三、紙筆測驗試題的信度分析

本研究參考鄭涵（2010）編製之國民小學五年級數學領域「容量」單元試題 與紀承耀（2007）國小五年級學童容量單位合成與分解單元試題，測驗長度共24 題，含選擇題20題，建構反應題4題，本測驗之Cronbach’s α 值達0.80，顯示本研 究試題具有良好的信度。建構反應題題型之建置是由專家知識結構中挑選出具有 較高層次且適宜之認知屬性，設計成建構反應題。

圖 3-3-1 專家知識結構圖（賴淑錦等人，2009）

A2 能運用正方體體積公式【3、

4、10、15】

A11 能報讀有刻度容器內水位升降的 高度應用題【19、23】

A4 能計算立方公尺與立方公分 換算，1 立方公尺=1000000 立方 公分【6、7、8、11、12】

A9 解決容積換算應用題【16、17】

A12 能計算不規則物體體積的應用題

【20、24】

A7 能計算容量換算成容積 1 公 升=1000 立方公分【 13、21】

A6 能計算立方公尺與立方公分 二階單位換算【12、17】

A10 能計算有厚度容器容積

【18、22、24】

A3 能計算容器內部體積

【5、18、22、24】

A5 能了解容積的定義【9、

10、11】

A1 能運用長方體體積公式

【1、2、5、7、9、11、13、

14、15 、20、22】

A8 能計算容量換算成容積 1 毫升=1 立方公分【14 、15、17、22、23】

5‐n‐19 能理解容量、容積和體積間的關係

表 3-3-1 「體積、容量與容積」錯誤類型一覽表

代號 錯誤類型內容

B1 體積公式概念錯誤 B2 計算錯誤：加減法錯誤 B3 計算錯誤：乘除法錯誤

B4 容積概念錯誤

B5 其他計算錯誤

B6 不懂題意，直接由題目數字來實測 B7 立方公分與立方公尺換算錯誤 B8 公升與毫公升單位轉換錯誤 B9 立方公分與毫公升單位換算錯誤 B10 單位未換算

B11 容積與重量概念錯誤 B12 數字位值看錯

B13 不懂題意，體積與高概念混淆 B14 立體圖形厚度估算錯誤

B15 不懂題意，直接乘除或加減 B16 對於題意了解錯誤

表 3-3-2 「體積、容量與容積」命題卡示例

336－8－6=322

（B1）體積公式概 念錯誤。

336－8×6=288

（B1）體積公式概念

参、估計模式

        如圖 3-3-1、圖 3-3-2、圖 3-3-3 所示即是結合專家知識結構圖與原始 Q 矩陣 所分析之模式圖，左右共分為兩個層次，最左邊是試題（Item 1- Item 24），其中 Item 21~ Item 24 為建構反應題，右邊為認知屬性（A1-A12），表示學生在解題過 程中需要的認知能力。

一、模式一

全部的受試者認知屬性標記為未知，以-1 表示，最左邊是試題（Item 1- Item 24），右邊為認知屬性（A1-A12），下表3-3-3 為模式一之 Q 矩陣，結構如圖 3-2-2。

表 3-3-3 全部的受試者認知屬性標記未知 Q 矩陣

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 Sub 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Sub 2 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Sub 3 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Sub 4 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

‧

‧

‧

‧

‧

Sub j-3 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Sub j-2 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Sub j-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Subj -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

圖 3-3-2 模式一：全部受試者認知屬性標記未知

二、模式二

不同比例的受試者認知屬性標記已知，以 1 或 0 表示，1 表示受試者具備該 認之屬性，0 表示受試者位具備該認之屬性。本模式將所有受試者(Sub1、Sub2…、

Subj)試卷總分依序由高到低排列，區分成不同能力的五個群組，從五組中各抽取 10%、20%、30%、40%、50%到 90%的人，並由專家判定其認知屬性設其已知，

利用MATLAB 撰寫的 DINA 程式以判別剩餘人數的未知之認知屬性，如下表

Sub d2 1 0 1 0 0 0 0 1 0 1 0 0 Sub d3 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

‧

‧

圖 3-3-3 模式二：不同比例的受試者認知屬性標記已知

三、模式三

本模式將所有受試者(Sub1、Sub2…、Subj)依序排列，建構反應題的認知屬 性為A1、A3、A7、A8、A10、A11、A12，將部分的建構反應題認知屬性標記為 已知，依獲得的認知屬性設計不同的比較模式，再進行資料分析模擬，下表3-3-5 為模式三之專家Q 矩陣。最左邊是試題（Item 1- Item 24），右邊為認知屬性

（A1-A12）圖 3-3-4 為建構反應題認知屬性標記已知之模式圖 表 3-3-5 建構反應題的認知屬性標記為已知 Q 矩陣

*框線表示建構反應題認知屬性標記為已知

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 Sub 1 1 -1 0 -1 -1 -1 0 0 -1 0 0 0 Sub 2 1 -1 0 -1 -1 -1 0 0 -1 0 0 0 Sub 3 0 -1 0 -1 -1 -1 0 0 -1 0 0 0 Sub 4 0 -1 0 -1 -1 -1 0 0 -1 0 0 0 Sub 5 1 -1 1 -1 -1 -1 0 0 -1 0 0 0

‧

‧

‧

‧

‧

‧

‧

‧

Sub j-4 1 -1 0 -1 -1 -1 0 0 -1 0 0 1

Sub j-3 0 -1 0 -1 -1 -1 1 0 -1 0 0 0

Sub j-2 1 -1 1 -1 -1 -1 0 1 -1 1 0 0

Sub j-1 0 -1 0 -1 -1 -1 0 1 -1 0 1 0

Sub j 0 -1 1 -1 -1 -1 0 0 -1 1 0 1

圖 3-3-4 模式三：建構反應題認知屬性標記已知