第三章 研究設計與實施
第三節 研究工具與流程
以下研究者將研究流程分為四階段說明，並從中詳述本研究使用之工具的發展過 程。包含認知屬性集的發展、試題編碼與得出連結試題與屬性的架構之過程。
一、第一階段：試題作答反應編碼與建立認知屬性集
（一）試題作答反應編碼
TIMSS 2007 的試題類型共包含選擇題 (multiple-chice questions) 與問答題
(constructed-response questions)，其中選擇題皆為單選題，問答題則要求學生書寫答案。
前者以二元計分；後者則採多元計分，會依據題目的測驗目標檢視學生對於適當與完整 答案的必要特徵的回答情形，而決定給分的標準 (Mullis, et al., 2005)。問答題的各種答 題情形的計分標準概述與在 TIMSS 資料庫對應的所有可能編碼如表 3-5 所示。由於本研 究所使用的 DINA 模型僅允許輸入試題以二元計分後的資料，因此研究者採用 Lee 等人 (2011)之作法，將研究樣本在試題的作答反應以下述方式再次編碼－(1)選擇題答對時編 碼為 1，答錯為 0，並且(2)問答題得 2 分時編碼為 1；得 1 分或 0 分時為 0。此外 TIMSS 還以編碼「9」與「99」分別代表選擇題與非選擇題空白未作答 (Olson, et al., 2008)；「6」
表 3-5 TIMSS 的問答題計分原則與作答反應編碼 1 分試題
計分 計分標準 對應編碼
1 作答正確而完整。 10-15、19
0 作答完全不正確、無關或沒有條理。 70-75、79
2 分試題
計分 計分標準 對應編碼
2 作答正確而完整，展現出對於試題內涵的數學概念或／與程序 的完整理解。
20-25、29 1 作答僅部分正確，僅展現出對於試題內涵的數學概念或／與程
序的部份理解。
10-15、19
0 作答完全不正確、無關或沒有條理。 70-75、79
資料來源：出自 Olson 等人 (2008: 30-31)
或「96」分別代表該選擇題或非選擇題、該題前一題以及該題之後所有題目皆未作答 (Foy & Olson, 2009)，上述情形研究者皆重新編碼為 0。
經過重新編碼後，當學生在一個試題的作答反應編碼為 1 時，本研究將其視為該生 答對該題，而編碼為 0 時則視為該生答錯該題。以此觀點下，各國（地區）在各試題的 答對率如表 3-6 與表 3-7 所示。表中「試題編號」意指各試題依據所在題組(block)與試 題序(block sequence)組成的編碼，如「M04_05A」表題組編號 M04 的第 5 題中的 A 小 題，其餘依此類推。而由表中可發現部分試題難度並不高，各國（地區）學生答對率皆 接近或超過 0.7，包括了題組 M04 中的第 01、04、05A、09、10 與 12A，以及題組 M05 的 02 與 05 等題。
表 3-6 各國（地區）學生題組四各試題的答對率
試題編號 臺灣 韓國 新加坡 香港 日本
M04_01 82.76% 86.38% 73.25% 69.55% 80.72%
M04_02 68.97% 73.09% 67.78% 73.25% 43.46%
M04_03 76.90% 72.09% 71.12% 66.26% 60.46%
M04_04 79.31% 75.42% 76.60% 84.36% 68.63%
M04_05A 83.10% 91.03% 90.58% 88.48% 79.08%
M04_05B 43.10% 35.22% 48.94% 28.40% 30.07%
M04_05C 56.55% 40.20% 58.66% 50.21% 42.48%
M04_05D 67.59% 61.13% 73.25% 73.66% 59.15%
M04_06 75.86% 69.44% 60.49% 67.90% 69.93%
M04_07 69.31% 77.08% 51.06% 55.97% 73.20%
M04_08 63.10% 60.13% 39.82% 50.21% 53.27%
M04_09 75.86% 87.38% 82.98% 77.78% 90.85%
M04_10 72.76% 70.43% 74.47% 70.78% 72.22%
M04_11 74.48% 46.84% 62.01% 63.37% 67.97%
M04_12A 78.28% 82.72% 79.33% 86.42% 83.01%
M04_12B 30.00% 38.87% 32.52% 11.93% 48.37%
M04_13 60.34% 83.06% 53.19% 59.26% 78.76%
資料來源：整理自 TIMSS 2007 國際資料庫
(http://timssandpirls.bc.edu/TIMSS2007/idb_ug.html)。
表 3-7 各國（地區）學生題組五各試題的答對率
試題編號 臺灣 韓國 新加坡 香港 日本
M05_01 78.62% 80.07% 80.85% 66.26% 61.76%
M05_02 71.72% 77.08% 79.94% 74.49% 85.95%
M05_03 57.59% 40.86% 42.25% 11.93% 39.22%
M05_04 69.66% 60.80% 67.78% 72.02% 69.28%
M05_05 76.90% 90.03% 75.68% 76.54% 84.64%
M05_06 30.00% 22.92% 38.30% 21.81% 22.88%
M05_07A 41.72% 32.89% 41.64% 38.27% 52.94%
M05_07B 36.55% 32.89% 34.04% 27.98% 41.18%
M05_07C 60.00% 64.12% 48.02% 56.38% 70.92%
M05_08 61.38% 60.80% 50.76% 51.03% 58.82%
M05_09 74.48% 77.74% 64.13% 63.79% 70.26%
M05_10 74.48% 79.73% 70.21% 59.67% 62.09%
資料來源：整理自 TIMSS 2007 國際資料庫
(http://timssandpirls.bc.edu/TIMSS2007/idb_ug.html)。
（二）認知屬性集的建立
閱讀相關文獻後，研究者以下述文獻先建立解 TIMSS 2007 八年級數學測驗試題可 能涉及的認知屬性集，為試題的編碼準備：
(1) TCD 屬性 (Corter, et al., 2006)。
(2) TIMSS 2007 內容與認知維度測驗目標 (Mullis, et al., 2005; 曹博盛，2009a)。
(3) 試題難度認知成分(Turner, 2009; 洪碧霞等人，2009；張惠芳，2010)。
二、第二階段：試題編碼
此階段的試題編碼是由研究者邀請一位國中數學教師共同討論所完成。
由於本研究所使用的 DINA 模型只允許每個試題考慮一種解題策略，且需輸入具完 備性的 Q 矩陣，並以二元計分的方式刻劃潛在預測變數，因此依據使用具有相同特性模 型的學者所提(Birenbaum, Nasser, & Tatsuoka, 2005; Corter, et al., 2006; Lee, et al., 2011;
Lee, et al., 2011)後，研究者與專家教師依序以下述過程與原則對試題進行編碼：
1. 考慮多數學生使用的解題策略
研究者與專家教師透過討論在各試題皆決定了一個雙方皆認同是應是多數學生使 用的解題策略，並簡要的記錄該策略的流程。
2. 進行試題編碼
研究者與專家教師依據經由上階段所述文獻建立的認知屬性集，共同檢視各試題在 所假定的解題策略下涉及的認知屬性並加以編碼與紀錄編碼原因，同時在過程中修刪屬 性界定的描述。除了考慮是否涉及外，若有屬性在某試題的應用對於八年級學生而言，
研究者與專家教師皆認同太過容易，而可歸類為全體納入分析學生的先備知識時，則該 屬性仍然不會在該試題被編碼。例如試題 M04_05A 雖然需要進行整數運算「25 5 」與
「25 10 」，但並沒有因此原因而編入屬性「C1 全數與整數的基本概念與運算」。
研究者建立認知屬性集的參考文獻中，TCD 屬性以 6 個「內容屬性」類別涵蓋了數 學各主題的基本概念與運算，而 TIMSS 2007 內容維度測驗目標也涵蓋了四個數學主題 的 55 個子目標，但基於以下因素，最終研究者與專家教師未再以 TIMSS 2007 內容維度 測驗目標細分 TCD 屬性中的內容屬性：
1. 控制電腦程式運算時間
由於隨著屬性個數的增加，電腦便需要更多時間估計 DINA 模型之相關參數因此研 究者與專家教師希望將屬性數控制在一定範圍內。而當單獨 TIMSS 2007 內容維度測驗 目標對試題進行編碼，並於過程中修、刪與合併各內容界定後，研究者與專家教師共得 出 16 個認知屬性，亦即可能可將 TCD 屬性的 6 個「內容屬性」至多細分為 16 個。但 如此細分將使屬性總數過多，而延宕研究時間。
2. 編碼數過少
在 1.中所述的 16 個認知屬性中，許多屬性因描述範圍較特定而僅能獲得 1 至 2 個 試題的編碼，無特別使用 CDM 分析學生表現的必要。
另一方面，TIMSS 2007 認知維度測驗目標的意義與描述較相近於 TCD 屬性的大量 內容，包括「歷程屬性」與「技能／試題類型屬性」兩大類。且在認知維度為數較少的 16 個子目標中，許多亦已涵蓋於 TCD 屬性中，不需新增過多屬性，因此研究者與專家
教師僅使用其進行試題的編碼。
透過此階段的編碼，研究者得到了連結試題與屬性的初步架構。
三、第三階段：修正連結試題與屬性的架構
研究者將上階段所得的連結試題與屬性的架構整理成 Q 矩陣的形式後，連同研究樣 本在各試題的作答資料一起輸入程式估計 DINA 模型之猜測與粗心參數。因檢視發現許 多試題的猜測參數值似乎過高，表示試題的屬性編碼可能過多使得模型將許多答對的學 生誤判成未精熟試題所需所有屬性(Lee et al., 2011)，因此研究者與專家教師再反覆討論 以修正 Q 矩陣內容並檢視參數估計值。修正的方式主要為：
1. 提高屬性編碼的門檻，亦即將更多試題牽涉到的屬性應用視為學生的先備知識而不 編碼。
2. 將編到的試題與編碼原因類似的屬性合併。
透過此階段的編碼，研究者得到了修正過的連結試題與屬性的架構。。
四、第四階段：確定連結試題與屬性的架構並估計相關參數後進行論文撰寫
研究者將經過上階段修正過後之連結試題與屬性的編碼架構與認知屬性的界定描 述等相關資料整理後，煩請兩位具數學教育專業之教授審核，以針對當中過於不合理的 編碼或不恰當的敘述提出建議，研究者並與專家教師共同依據教授之意見再次修正，而 得到最終進行分析使用的連結試題與屬性的架構及認知屬性集。最終本研究用以描繪解 題所需之認知屬性共有三大類 20 項，在本研究之代碼如表 3-8 所示；本研究據以分析 之試題共 29 題，與屬性連結的架構如表 3-9 與表 3-10 所示。
確定連結試題與屬性的架構後，研究者將表 3-9 與表 3-10 整理成 Q 矩陣的形式，
並連同各國（地區）學生之作答反應資料輸入 DINA 模型以估計出相關參數，最後進行 論文的撰寫。
茲將上述各階段流程整理如圖 3-2。
表 3-8 認知屬性代碼 類別 代碼與名稱
內容 屬性
C1：整數的基本概念與運算
C2：分數、小數與比的基本概念與運算 C3：基礎代數的基本概念與運算
C4：幾何的基本概念與性質 C5：機率與基本統計
歷程 屬性
P1：數、量與形的知識在計算或單位換算上的應用 P2：數、形與代數的知識在判斷上的應用
P3：解析的思維 P4：結合運用的思維
P5：形成、想像、操弄或轉換形體與圖形 P6：處理複雜的步驟、子目標或程序 P7：使用多項數學知識
P9：模組套用 技能
／ 試題 類型 屬性
S1：使用給定的圖像與圖形 S2：驗證選項
S3：評估
S4：開放式的題目
S5：閱讀與理解具有真實世界脈絡的問題 S6：閱讀與理解具有複雜文本的問題 S9：實行
表 3-9 連結試題與內容屬性及歷程屬性的架構
內容屬性 歷程屬性
試題 C1 C2 C3 C4 C5 P1 P2 P3 P4 P5 P6 P7 P9 M04_01 1 0 0 0 0 0 0 0 0 0 0 0 0 M04_02 1 0 0 0 0 0 1 0 0 0 0 0 0 M04_03 1 0 1 0 0 1 0 0 0 0 0 0 0 M04_04 0 0 1 0 0 0 0 0 0 0 0 0 0 M04_05A 0 0 0 0 0 0 0 0 0 0 0 0 0 M04_05B 0 1 0 0 0 1 0 0 0 0 1 0 0 M04_05C 0 1 0 0 0 1 0 0 0 0 1 0 0 M04_05D 1 0 0 0 0 0 0 0 0 0 0 0 0 M04_06 1 0 1 0 0 0 0 0 0 0 0 0 0 M04_07 0 0 1 0 0 1 0 0 0 0 0 0 0 M04_08 0 0 1 1 0 0 1 0 0 0 0 0 0 M04_09 0 0 0 1 0 0 0 0 0 1 0 0 0 M04_10 1 0 0 1 0 1 1 1 1 0 1 1 0 M04_11 0 0 0 1 0 1 1 1 1 1 1 0 0 M04_12A 0 0 0 0 1 0 0 0 0 0 0 0 0 M04_12B 0 0 0 1 1 0 1 1 0 0 0 0 0 M04_13 0 0 0 0 1 0 0 0 0 0 0 0 0 M05_01 0 1 0 0 0 1 0 0 0 0 0 0 0 M05_02 0 0 1 0 0 1 0 0 0 0 0 1 0 M05_03 0 0 1 0 0 1 0 1 0 0 1 1 1 M05_04 0 0 0 1 0 1 1 0 0 1 0 0 0 M05_05 0 0 0 1 0 0 0 0 0 0 0 0 0 M05_06 1 1 0 0 0 1 0 0 0 0 1 0 0 M05_07A 0 0 0 0 1 1 0 0 0 0 0 0 0 M05_07B 0 0 0 0 1 1 0 0 0 0 0 0 0 M05_07C 0 0 0 0 1 0 0 0 0 0 0 0 0 M05_08 0 0 0 0 1 0 0 0 0 0 1 0 0 M05_09 1 0 0 1 0 1 1 1 1 0 1 1 1 M05_10 0 0 1 0 0 0 1 0 0 0 0 0 0
表 3-10 連結試題與技能／試題類型屬性的架構 技能／試題類型屬性
試題 S1 S2 S3 S4 S5 S6 S9 M04_01 0 0 0 0 0 0 0 M04_02 0 0 0 0 0 0 0 M04_03 0 0 0 0 0 0 0 M04_04 0 0 0 0 0 0 0 M04_05A 0 0 0 0 1 1 1 M04_05B 0 0 0 0 1 1 1 M04_05C 0 0 0 0 1 1 1 M04_05D 0 0 0 0 1 0 1 M04_06 0 0 0 0 0 1 0 M04_07 0 0 0 0 0 0 0 M04_08 0 1 0 0 0 0 0 M04_09 1 0 0 0 1 0 0 M04_10 1 0 0 0 0 0 0 M04_11 1 0 0 1 0 0 1 M04_12A 0 0 0 0 0 1 0 M04_12B 1 0 0 0 0 1 0 M04_13 0 0 0 0 0 1 0 M05_01 0 0 0 0 0 0 0 M05_02 0 0 0 0 0 0 0 M05_03 1 0 0 1 0 0 0 M05_04 1 0 0 0 0 0 0 M05_05 1 0 0 0 0 1 0 M05_06 0 0 1 1 1 1 0 M05_07A 0 0 1 0 1 1 1 M05_07B 0 0 1 0 1 1 1 M05_07C 0 0 0 0 0 0 0 M05_08 0 0 0 0 0 1 0 M05_09 1 0 0 0 0 0 0 M05_10 0 1 0 0 0 0 0
圖 3-2 研究流程圖
第三階段第四階段第二階段第一階段
閱讀相關文獻
撰寫論文 TIMSS 2007 八年級 數學測驗題本四試題
TIMSS 認知維度 TCD 屬性
認知成份 萃
取
得出連結試題與屬性 的初步架構
估計受試者認知狀態與 DINA 模型參數
修正猜測參數值偏高 的試題編碼架構 估計 DINA 模型之試題猜測與失誤參數
連結試題與屬性的初步架構 專家檢視
得出認知屬性集：TCD 屬性、TIMSS 2007 認知領域測驗目標、試題難度認知成分
修正並確定連結試題與屬性架構 研究樣本試題
做答反應編碼