• 沒有找到結果。

本章分為兩節,第一節為本研究之結論,第二節根據部分未盡完善之處,提 出一些具體研究建議,以供後續研究之參考。茲分述如下。

第一節 結論

根據模擬資料分析比較結果,再以 DINA 認知概念診斷模式及 CR-DINA 診 斷模式的研究,提出以下結論:

由模擬樣本資料得知,資料內容之概念是否具有結構概念,不論在個別概念 辨識率的估計上或是整體概念的辨識率上,CR-DINA 模式幾乎都比 DINA 模式 良好。在加入建構反應題時,都能提升原本 DINA 模式的的概念辨識率,加入的 建構題題數越多,提升的程度就越好,在全建構反應題型時,提升的程度最好。

另外在試題粗心參數與人數對辨識率的影響上,我們發現粗心參數越大,人 數越少,提升的程度越好,而且 CR-DINA 模式比 DINA 模式好,只有在全選擇 題時,二種模式都是一樣的,因為全選擇題時都是以 DINA 模式來診斷分析。

而概念間不具結構性,會比具結構性的資料提升要高,而在三種不同結構間,

建構試題的加入,個別單一的概念上,不一定會提升,而且有時還會減少,但在 概念辨識率(ACCR)與整體概念辨識率(PCCR)上,則都會提升辨識率。所以 CR-DINA 模式在概念具有結構時,加入建構反應題後,能提升 DINA 模式的概 念辨識率的估計精準度。

在實徵資料的驗證上,所得的結果也與模擬的資料一致,在個別辨識率上,

個別單 一的 概念 不 一定都 會提 升,但 在 概念 辨識 率與整 體概念 辨識 率都以

第二節 未來研究建議

茲根據本研究部分未盡完善之處,提出以下具體研究建議,以供後續相關研 究之參考。

一、 不同的樣本數

本研究設定樣本人數為 100 人、500 人、以及 1000 人三種,其概念辨識率皆 有明顯變好的趨勢,後續可將樣本數降低在 1000 人之內,來探討最低人數與估 計效果。

二、 概念間具不同的結構關係

本研究探討了有概念間具有結構關係與無結構關係之資料,試題參數對於概 念辨識率都有較明顯的差異。後續可針對各種不同結構的方法來探討其估計效 果。

三、 試題參數的估計

從本研究的結果來看,不論模擬樣本資料的產生方式為 HO-DINA 模式的無 結構資料,或是有結構資料,其粗心機率的估計上皆有較明顯差異,是因為受試 者能力分佈高低不同的影響,後續可針對此部分的差異進行深入研究與探討。另 外,本研究將試題參數設定為 g=0、uniform,s=0.1、0.25、uniform,後續可廣泛 討論不同試題參數的組合來探討其估計效果,如:g=0.3、s=0.4。

四、 建構反應試題選題

本研究在建構試題的選題上是針對概念數,選擇不同的概念數的試題做為建 構反應題,因可選擇的方式眾多,本研究無法一一羅列呈現,所以後續研究者可 以針對不同概念數的建構反應題選擇,找出最佳的組題方式。

參考文獻

王寶庸(1995)。 現代測驗理論。臺北市:心理出版社。

甘媛源、余嘉元(2009)。心理測量理論的新進展:潛在分類模型。

中國考試, 2009(3),

3-8。

李炯璉 (2010)。「空氣與燃燒」單元之線上診斷測驗建製與分析。亞洲大學 資訊工程學系碩士論文。

林宏憲 (2012)。「分數的乘除法」之不同線上診斷測驗題型成效分析。亞洲大學 資訊工程學系碩士論文。

林玉珍 (2012)。國小自然與生活科技領域「天氣的變化」單元建構題與選擇題之 電腦化測驗研發。亞洲大學資訊工程學系碩士論文。

余民寧(2009)。試題反應理論(IRT)及其應用。臺北市:心理出版社。

涂金堂(2003)。認知診斷評量的探究。

臺南師範學院學報, 37(2):67-97。

涂金堂 (2009)。教育測驗與評量。臺北:三民。

涂冬波、蔡艷、丁樹良 (2012)。認知診斷理論、方法與運用。北京:北京師範大 學出版社。

張永鑫 (2010)。數學科建構反應題診斷系統的建置-以五年級「平行四邊形和三 角形的面積」單元為例。國立臺中教育大學教育測驗統計研究所碩士論文。

陳亭宇 (2010)。DINA 模式與G-DINA 模式參數不變性探討。國立臺中教育大學 教育測驗統計研究所碩士論文。

莊峰魁、王文卿、 劉育隆、郭伯臣(2010)。 「光」單元之電腦化建構反應試題 與診斷模式開發初探。國立新竹教育大學2010 電腦與網路科技在教育上的 應用研討會。

單元為例。國立臺中教育大學教育測驗統計研究所碩士論文。

試 題 反 應 理 論 的 介 紹 ( 五 ) - 模 式 與 資 料 間 適 合 度 的 檢 定 (The assessment of model-data fit):http://www.edutest.com.tw/e-irt/irt5.htm

盧雪梅 (2009)。評量工具箱。http://web. cc.ntnu.edu.tw/~smlu/toolbox.doc。

Baxter, G. P., & Glaser, R. (1998). Investigating the cognitive complexity of science assessments. Educational Measurement: Issues and Practice, 17, 205-226.

Cheng, Y. (2009). When cognitive diagnosis meets computerized adaptive testing:

CD-CAT. Psychometrika, 74(4), 619–632.

DeCarlo L.T. (2011) On the Analysis of fraction subtraction data: the DINA model, classification, latent class sizes, and the Q-matrix. Applied Psychological Measurement, 35(1), 8-26.

de la Torre, J., & Douglas, J. (2004). Higher-order latent trait models for cognitive diagnosis. Psychometrika, 69(3), 333-353.

de la Torre, J. (2006). Attribute vector profile comparisons at the state level: An application and extension of cognitive diagnosis modeling in NAEP. Paper presented at the international meeting of the Psychometric Society, Montreal, Canada.

de la Torre, J., & Douglas, J. (2008). Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data. Psychometrika, 73(4), 595-624.

de la Torre, J. & Lee, Y.-S. (2008). Cognitive diagnosticity of IRT-constructed assessment: An empirical investigation. Paper presented at the meeting of the National Council on Measurement in Education, New York, NY.

de la Torre, J. (2008a). An empirically-based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362.

de la Torre, J. (2008b). Multidimensional scoring of abilities: The ordered polytomous response case. Applied Psychological Measurement, 32, 355-370.

multiple-choice options. Applied Psychological Measurement, 33(3), 163-183.

de la Torre, J. (2009b). DINA model and parameter estimation: A Didactic. Journal of Educational and Behavioral Statistics, 34(1), 115-130.

de la Torre, J., & Lee, Y.-S. (2010). A note on the invariance of the DINA model parameters. Journal of Educational Measurement, 47(1), 115-127.

Henson, R. A., & Douglas, J. (2005). Test construction for cognitive diagnosis.

Applied Psychological Measurement, 29(4), 262-277.

Junker, B., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25(3), 258-272.

Linn, R.L. & Gronlund, N.E. (2000). Measurement and Assessment in Teaching (8th ed.). Upper Saddle River, NJ: Merrill.

Maris, E. (1999). Estimating multiple classification latent class models.Psychometrika, 64, 197-212.

Nichols, P., & Sugrue, B. (1999). The lack of fidelity between cognitively complex constructs and conventional test development practice. Educational Measurement:

Issues and Practice, 18, 18–29.

Rupp, A. & Templin, J. (2008). The effects of q-matrix misspecification on parameter Estimates and classification accuracy in the DINA model. Educational and Psychological Measurement, 68(1), 78-96.

Templin, J & Henson, R. (2006) Measurement of Psychological Disorders Using Cognitive Diagnosis Models, Psychological Methods, 11(3): 287-305

Templin, J, Henson, R., & Douglas, J (2006) General theory and estimation of cognitive diagnosis models. Using Mplus to derive model estimates. Paper presented at the 2007 National Council on Measurement in Education training session, Chicago, IL.

相關文件