模擬資料之分析結果比較

根據估計的結果，進行各種模擬資料設計的比較，並探討分析各種參數的影 響之結果。

壹、Q矩陣有重複認知屬性之模擬資料分析

一、試題參數與HO-DINA模型產生能力分布的個別認知屬性辨識率比較

首先比較在全是單一解題策略題目時，再加入多重解題策略題目，瞭解DINA 模式與MS-DINA模式兩種模式估計的效果和差異？表4-2-1和表4-2-2為將多重解 題策略題目加入的比例(0%到100%)的單一屬性辨識率、概念辨識率(ACCR)、

整體辨識率(PCCR)與無加入多重解題策略(0%)的辨識率所相差的數值，既為表 示提升的趨勢。所以表4-2-1和表4-2-2的結果來看，再加入不同的多重解題策略題 的比例，MS-DINA模型是能提升概念的辨識率，而DINA模型則是有下降的趨勢。

在MS-DINA模型下，粗心參數和猜測參數皆是0.1時，在個別的單一認知屬性上 最高可提升3.29%，在概念辨識率(ACCR)上最高可提升2.02%，而整體辨識率 (PCCR)最高可以提升3.57%。在DINA模型下，可以看到辨識率在多重解題策略 題目增加而下降。粗心參數和猜測參數皆是0.1時，在單一認知屬性下，最高會下 降13.47%，在概念辨識率(ACCR)上最多會下降9.24%，而整體辨識率(PCCR)最 高會下降38.54%。

粗心和猜測參數為0.25時，在MS-DINA模型上，在單一認知屬性上，最高可 上升5.22%，在概念辨識率(ACCR)上最高可提升1.27%，而整體辨識率(PCCR) 雖是下降，但是平均而言無太大的差別。在DINA模型下，在單一認知屬性下最 多會下降12.97%，概念辨識率(ACCR)上最多會下降7.4%，而整體辨識率(PCCR) 最多會下降28.35%。其中我們發現在試題參數為0.1或是0.25時，在MS-DINA模型 中，在一些單一認知屬性因加入多重解題策略題目而造成辨識率下降，我們只能 猜測在本研究所使用重複認知屬性策略對此能力分布的受試者有著一些估計上 的偏差造成辨識率的不穩定，但是整體而言在概念辨識率(ACCR)上，平均而言 隨著加入多重解題策略題目時，辨識率是有上升。

表 4-2-1

s,g=0.1 加入多重解題策略題目提升效果之結果(重複矩陣 HO-DINA 模型) 模型

多重策

略比例 K1 K2 K3 K4 K5 ACCR PCCR

DINA

0% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

20% -1.76% -3.55% -1.34% -1.88% -0.87% -1.88% -5.47%

40% -2.16% -4.50% -1.49% -3.46% -0.87% -2.50% -7.94%

60% -6.64% -5.20% -2.89% -8.77% -1.57% -5.01% -17.70%

80% -8.78% -9.25% -1.86% -10.02% -13.41% -8.66% -37.26%

100% -7.26% -13.20% 0.19% -12.44% -13.47% -9.24% -38.54%

MS-DI NA

0% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

20% 0.70% -1.25% 0.84% -0.28% 0.46% 0.09% -0.09%

40% 1.26% -0.08% 1.85% 0.32% 1.29% 0.93% 1.70%

60% 1.24% 0.70% 2.44% 1.21% 1.92% 1.50% 2.97%

80% 1.93% 1.66% 2.94% 1.72% 1.34% 1.92% 3.57%

100% 1.61% 1.65% 3.29% 1.69% 1.86% 2.02% 2.91%

表 4-2-2

s,g=0.25 加入多重解題策略題目提升效果之結果(重複矩陣 HO-DINA 模型)

模型 多重策

略比例

K1 K2 K3 K4 K5 ACCR PCCR

DINA

0% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

20% -0.94% -4.15% -0.21% -5.00% -0.37% -2.14% -6.86%

40% -2.02% -5.59% -0.26% -11.86% 0.35% -3.87% -13.43%

60% -6.08% -5.72% -0.74% -12.97% -2.24% -5.55% -19.61%

80% -5.82% -7.57% -1.76% -10.42% -10.59% -7.23% -27.15%

100% -6.04% -8.86% 0.49% -11.47% -11.10% -7.40% -28.35%

MS-DINA

0% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

20% 0.37% -2.48% 1.00% -2.51% 0.96% -0.53% -2.24%

40% 0.86% -2.09% 2.34% -1.93% 2.23% 0.28% -0.56%

60% -0.01% -0.71% 2.98% -1.15% 2.05% 0.63% -0.45%

80% 1.05% 0.08% 3.98% 0.29% -0.03% 1.07% -0.46%

100% 0.34% -0.73% 5.22% 0.51% 1.00% 1.27% -1.42%

二、試題參數與 Random 模型產生能力分布的個別認知屬性辨識率比較

從表 4-2-3 和 4-2-4 可以發現，估計結果的其實跟 HO-DINA 模型產生能力分 布有著相似的結果，MS-DINA 模型隨著多重解題策略的題目增加辨識率會有跟 著提升，反之 DINA 模型隨著多重解題策略的題目增加反而辨識率有往下降的趨 勢。

當粗心和猜測參數為 0.1 時，在 MS-DINA 模型下，單一認知屬性下，最高可 以提升 6.90%，在概念辨識率(ACCR)上最高可以提升 5.24%，整體辨識率(PCCR) 最高可提升 10.52%。在 DINA 模型下，單一個認知屬性下，最多會下降 15.47%，

在概念辨識率(ACCR)上最多會下降 7.48%，而整體辨識率(PCCR)最多會下降 28.84%。

當粗心和猜測參數為 0.25 時，在 MS-DINA 模型下，單一個認知屬性最高可 以提升 8.81%、概念辨識率(ACCR) 最高可以提升 4.85%、整體辨識率(PCCR) 最 高可以提升 7.05%，皆有提升的狀況。而在 DINA 模型下的辨識率皆是下降的情 況。單一個認知屬性下最多會下降 12.42%、概念辨識率(ACCR)最多會下降 4.74%、

整體辨識率(PCCR)最多會下降 15.24%。

在能力分布為 HO-DINA 模式或是 Random 模式下，我們發現 HO-DINA 模式 下的分佈發現在 MS-DINA 模型中，試題參數為 0.1 時，造成單一屬性辨識率下 降有三個地方，而在 Random 模式下的分佈中，試題參數為 0.1 時，MS-DINA 模 型造成單一屬性辨識率下降只有一個地方。而在試題參數為 0.25 時，HO-DINA 模式下的分布發現 MS-DINA 模型中下降處有九個，Random 模式下的分布中下 降處只有四個。也就是說能力分佈為 Random 模式時，我們在估計加入多重解題 策略題目數的多寡時，有著比較穩定的上升的趨勢。此論述不是說明了 HO-DINA 模式較差，由以上論述我們只能瞭解到能力分布對此模擬研究的估計有著影響。

而試題參數來看我們從表 4-2-1 至表 4-2-4 發現當粗心和猜測參數大小，並沒 有明顯提升的效果，但是不論粗心和猜測參數的大小，都是有提升的效果。但從 表 4-1-1 至表 4-1-4 看到粗心和猜測參數的大小是會很明顯的影響概念的辨識率，

故我們可以說粗心和猜測參數對於整體辨識率有著很大的影響，但試題參數的大 小會讓整體辨識率的數值情況來看，對於提升認辨識率並沒有什麼影響。

表 4-2-3

三、試題參數與組合試題題數

在表4-2-5和表4-2-6中，當全試題為單一解題策略時，概念辨識率並沒有提升，

因為是以DINA模型辨識率上升或下降的判斷依據，而當多重解題策略題目加入 時，辨識率便會開始提升，最底是為0%，最高為提升11.26%。

從表4-2-5和表4-2-6結果來看，以全為多重解題策略的題型對於辨識率有著最 大的提升效果，也就是100%的組合題型擁有最好的辨識率，隨著單一解題策略題 目加入，MS-DINA模型辨識率隨之下降，而在全部都是單一解題策略的題目，

MS-DINA模式辨識率最差。而相反的，DINA模型會隨著單一解題策略題目的加 入提升概念的辨識率。從數據的結果來看，在擁有不同多重解題策略的比例題目 時，MS-DINA模式較優於DINA模式。

而在試題參數上，試題參數越大，對於MS-DINA模型的提升效果也會比較好，

而對於DINA模型也是增加概念辨識率的效果，但是提升效果較不明顯，故我們 可以說試題參數在對於提升估計的效果的影響並不顯著。

表4-2-6為以Random模型產生能力分佈的試題組合ACCR估計結果，相對於以 HO-DINA模型產生能力而言，Random模型產生能力分布的概念辨識率上升的程 度較平穩。不管是參數為0.1或是0.25，對於下一個試題組合比例都有2~3%的提升 率。故我們可以猜測受試者能力的分布對於認知屬性的辨識率有影響的。

表 4-2-5

表 4-2-7

以整體辨識率來看，最高的提升率有53.13%，最低也4.63%的提升效果，但 隨著單一解題策略與多重解題策略的題數比例從80%到100%時，提升的效果已經 不明顯。故從整體辨識率來看，在擁有多重解題策略的題目時，MS-DINA模式也 是優於DINA模式。

從上述的描述，從表4-2-5和表4-2-6中概念辨識率中，在MS-DINA模型有最 高12.71%的提升效果，表4-2-7和表4-2-8整體辨識率中，MS-DINA模型有最高 41.25%的提升，而其中不管是HO-DINA模型或是Random模型能力分佈下，儘管 能力分布的不同會造成估計上的誤差，總歸而言在MS-DINA模型的估計下，都是 有明顯的提升效果。故在不同多重解題策略的比例題目下，使用MS-DINA模式估 計會比使用DINA模式估計擁有更好的效果。

貳、Q矩陣無重複認知屬性之模擬資料分析

一、試題參數與HO-DINA模型產生能力分布的個別認知屬性辨識率比較

表4-2-9和表4-2-10中，使用了無重複認知屬性Q矩陣來模擬資料，並瞭解此 矩陣對於DINA模式與MS-DINA模式兩種模式估計的效果和差異？從結果可以看 到對於兩種模式對於概念辨識率有下降的趨勢，而DINA模式與MS-DINA模式隨 著多重解題策略的題目加入概念的辨識率皆是下降。在兩個模型中，在粗心參數 和猜測參數是0.1，在單一認知屬性上最多會下降14.20%，在概念辨識率(ACCR) 上最多會下降10.49%，而整體辨識率(PCCR)最多會下降41.21%。而在多重解題 策略的比例在40%、60%時，概念辨識率會有急速的下降。在兩個模型中，粗心 參數和猜測參數是0.25時，在單一認知屬性上最多會下降11.85%，在概念辨識率 (ACCR)上最多會下降8.92%，而整體辨識率(PCCR)最多會下降29.05%。

從上節表4-1-1和表4-1-2看到，當我們使用重複認知屬性和無重複認知屬性矩 陣時，重複認知屬性矩陣在單一認知屬性、概念辨識率、整體辨識率，辨識率都 有上升的情況存在，在試題參數為0.1而全為多重解題策略的題目時，概念辨識率 (ACCR)為96.18%、整體辨識率(PCCR)為87.01%的辨識率，而在使用無重複認知 屬性Q矩陣時，全為多重解題策略的題目時，概念辨識率(ACCR)為90.31%、整 體辨識率(PCCR)只有為57.19%的辨識率。故我們看到在使用不同策略設計的矩 陣上，會嚴重影響MS-DINA模型和DINA模型在估計辨識率上的效果。在試題參 數為0.25，全為多重解題策略的題目時，重複認知屬性矩陣的概念辨識率(ACCR) 為84.72%、整體辨識率(PCCR)為53.13%的辨識率，而使用無重複認知屬性矩陣 時，全為多重解題策略的題目時，概念辨識率(ACCR)為81.28%、整體辨識率(PCCR) 只有為38.66%的辨識率。

表 4-2-9

二、試題參數與Random模型產生能力分布的個別認知屬性辨識率比較

表 4-2-11 和表 4-2-12 為以 Random 模型產生能力分布在加入多重解題策略題 目提升效果之結果，可以發現 MS-DINA 模型當多重解題策略題目比例為到 60%

至 80%時，整體辨識率會有一個下降的情況，在 DINA 模型而是隨著多重解題策 略的題目增加反而辨識率有往下降的趨勢。

當粗心和猜測參數為 0.1 時，在 MS-DINA 模型下，再加入多重解題策略題目 比例為 60%時，辨識率上升最高。概念辨識率(ACCR)上升 3.24%，而整體辨識率 (PCCR)上升 7.91%，而當比例 80%時，提升率則會開始下降。在 DINA 模型下，

只要加入多解題重策略的題目，辨識率就會開始下降，在單一個認知屬性下，最 多會下降 10.82%，在概念辨識率(ACCR)上最多會下降 10.13%，而整體辨識率 (PCCR)最多會下降 33.90%。當粗心和猜測參數為 0.25 時，在 MS-DINA 模型下，

在加入多重解題策略題目為 40%時，概念辨識率(ACCR)雖然持續的再提升，但 是在整體辨識率(PCCR)卻是下降的趨勢。當多重解題策略題目比例為 60%時，概 念辨識率(ACCR)並無明顯的增加，而整體辨識率(PCCR)上升為 3.11%，而在多 重策略題目比例為 80%時，提升率開始趨緩。在 DINA 模型下，單一個認知屬性 下、概念辨識率(ACCR)、整體辨識率(PCCR)皆是下降的情況。

從表 4-2-9 至表 4-2-12，我們發現不管是 Random 模型產生能力分布或是 HO-DINA 模型產生能力分布，在無重複認知屬性矩陣的設計下，對於辨識率和 模型估計上來說，效果並不好。與表 4-2-1 至 4-2-4 來相比，不管在單一個認知屬 性、概念辨識率(ACCR)、整體辨識率(PCCR)，不但沒有提升的效果，反而造成 辨識率的下降。故我們綜合以上述結論來說，多重認知屬性的矩陣會優於無重複 認知屬性的矩陣，故出題者在設計多重解題策略之矩陣時，重複認知屬性矩陣的

從表 4-2-9 至表 4-2-12，我們發現不管是 Random 模型產生能力分布或是 HO-DINA 模型產生能力分布，在無重複認知屬性矩陣的設計下，對於辨識率和 模型估計上來說，效果並不好。與表 4-2-1 至 4-2-4 來相比，不管在單一個認知屬 性、概念辨識率(ACCR)、整體辨識率(PCCR)，不但沒有提升的效果，反而造成 辨識率的下降。故我們綜合以上述結論來說，多重認知屬性的矩陣會優於無重複 認知屬性的矩陣，故出題者在設計多重解題策略之矩陣時，重複認知屬性矩陣的