非常態下之參數估計法估計成效比較

本節比較參數型與無參數型 MH-within-Gibbs sampling 的結果，除探究當模 式違反常態假定時，對參數型估計產生的影響外，更探究無參數型的參數估計法 的可行性。

一、總體量尺分數估計成效之比較

分析過程所產生的 RMSE 值表格過於龐大，然爲清楚呈現參數與無參數間 的估計成效差異，文中僅列出三者 RMSE 之差異，並輔以 t-test 檢驗顯示不同參 數估計法間的差異有無達顯著性(正值代表無參數較好；負值代表參數較好)。

表 4-9

單因子高層次與超參數 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量尺 相關

Binomial Normal Skew 量尺

分數 超參數 量尺

分數 超參數 量尺

分數 超參數 500 10 B 0.4 0.035 0.005 0.030 0.002 0.048 -0.006 500 10 B 0.7 0.037 0.002 0.024 0.003 0.039** 0.001 500 10 W 0.4 0.037 -0.004 0.029 -0.012 0.046** -0.002 500 10 W 0.7 0.036 0.002 0.019 0.006 0.031 -0. 035 500 20 B 0.4 0.039 -0.005 0.027 0.000 0.043 0.003 500 20 B 0.7 0.037** -0.005 0.018 -0.005 0.031** 0.008 500 20 W 0.4 0.040 0.003 0.025 -0.001 0.046** 0.003 500 20 W 0.7 0.033** -0.001 0.017 0.007 0.027 -0.012 1000 10 B 0.4 0.039** 0.006 0.030 -0.001 0.048** -0.013 1000 10 B 0.7 0.040** -0.008 0.025 0.002 0.038** -0.032 1000 10 W 0.4 0.040** 0.007 0.028 0.001 0.050** -0.007 1000 10 W 0.7 0.034** -0.023 0.021 0.000 -0.268 -0.827 1000 20 B 0.4 0.042** 0.000 0.029 0.002 0.047** -0.003 1000 20 B 0.7 0.035** 0.002 0.020 0.006 0.032** -0.016 1000 20 W 0.4 0.041** 0.003 0.028 -0.005 0.047** -0.007 1000 20 W 0.7 0.034** -0.002 0.020 0.005 0.026** -0.017

** p<.01

表 4-9 中多向度架構 B 代表多向度測驗是屬於題間多項的測驗架構、W 代表多 向度測驗是屬於題內多向度的測驗架構。透過 RMSE 差異值的比較可發現無參 數型 MH-within-Gibbs sampling 估計法的估計精準度比較高，特別是當總體量尺 分數變數的分布違反常態假定時更可以發現無參數對於參數估計的優勢。同時可 以發現採用題內多向度的測驗架構或人數變多的情況下，無參數的估計精準度可 更精準於參數型的估計方法。

簡單來說，無參數的估計方法比起參數型的估計方法，會有較高精準度，即 便母體服從常態仍可以獲得與參數型相當的參數估計之結果；而在非常態更可以 比參數型的估計精準度更好。

表 4-10

多因子高層次與超參數 RMSE 差異表（無參數與參數）

人數 題數 多 向 度 架 構

領 域 量 尺 相 關

Binomial Normal Skew

總體量尺

超 參 數

總體量尺

超 參 數

總體量尺

超 參

一 二 一 二 一 二 數

500 10 B 0.4 0.037 0.040 -0.003 0.036 0.040 -0.012 0.043 0.043 -0.014 500 10 B 0.7 0.036 0.038 0.011 0.030 0.030 0.005 0.045 0.047** -0.017 500 10 W 0.4 0.042 0.042 -0.012 0.041 0.046 -0.011 0.055 0.042 -0.026 500 10 W 0.7 0.042 0.040 0.024 0.022 0.027 -0.015 0.048 0.051 -0.029 500 20 B 0.4 0.042 0.039 0.008 0.040 0.036 0.003 0.044 0.045 0.002 500 20 B 0.7 0.038 0.039 0.017 0.029 0.025 0.006 0.049 0.042** -0.002 500 20 W 0.4 0.043 0.041 0.009 0.036 0.036 -0.008 0.051 0.045 -0.002 500 20 W 0.7 0.041 0.043** 0.029 0.026 0.025 0.015 0.047** 0.050 -0.014 1000 10 B 0.4 0.031 0.041** 0.012 0.035 0.039 0.004 0.045 0.045** 0.001 1000 10 B 0.7 0.040** 0.039** 0.016 0.030 0.030 0.006 0.020 0.033 -0.095 1000 10 W 0.4 0.038 0.046 0.017 0.033 0.043** 0.005 0.046 0.045** 0.003 1000 10 W 0.7 0.038** 0.042** 0.032 0.027** 0.031 0.020 -0.044 -0.002 -0.265 1000 20 B 0.4 0.040 0.039 0.006 0.032 0.036 0.005 0.049** 0.048** 0.002 1000 20 B 0.7 0.040 0.041** 0.018 0.027 0.027 0.021 0.044** 0.049** -0.011 1000 20 W 0.4 0.037 0.040** 0.010 0.033 0.035 0.012 0.049 0.047** -0.002 1000 20 W 0.7 0.042** 0.044** 0.031 0.021 0.026 0.015 0.039** 0.046** -0.041

** p<.01

44

表 4-10 中的多因子的測驗架構下的分析結果，各項比較結果如單因子測驗 架構上之結果雷同。相關說明在此不多加贅述。

二、領域量尺分數估計成效之比較

分析過程所產生的 RMSE 值表格過於龐大，然爲清楚呈現參數與無參數估 計成效間的差異，文中僅列出三者 RMSE 之差異，並輔以 t-test 檢驗顯示不同參 數估計法間的差異有無達顯著性(正值代表無參數型較好；負值代表參數型較 好)。

表 4-11 與 4-12 中的發現如前一小節的總體量尺分數的估計結果之說明相 當。唯一不同的地方在於，領域量尺分數 1 在題內多向度的架構中，對應到的題 目是比領域量尺 2、4 與 5 的兩倍題目；領域量尺分數 1 在題內多向度的架構中，

對應到的題目是比領域量尺 2、4 與 5 的三倍題目。雖然表 4-11 與 4-12 可以發現 參數型與無參數型在單組測驗架構下，在領域量尺的估計結果並沒有出現顯著的 差異，但是依據總體量尺部分的解釋，我們可以預期在領域量尺 1 與領域量尺 3 的差距應該會是五個領域量尺中最小的！原因即是該兩個領域量尺所對應到的 題目已經足夠多，而使得母體的先驗機率分布不會影響到能力估計的結果；然領 域量尺 2、4 與 5 則因為題目相對應的少而出現母體先驗機率分布影響參數估計 精準程度的現象。

但是整體來說，無參數的參數估計精準度在其他狀況與參數型的參數估計精 準度相差沒有顯著。

表 4-11

單因子次級 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量尺 相關

Binomial Normal Skew

一 二 三 四 五 一 二 三 四 五 一 二 三 四 五

500 10 B 0.4 0.013 0.012 0.012 0.011 0.012 0.012 0.010 0.012 0.011 0.013 0.012 0.013 0.013 0.013 0.011 500 10 B 0.7 0.014 0.015 0.011 0.014 0.013 0.010 0.012 0.012 0.010 0.011 0.014 0.012 0.014 0.015 0.013 500 10 W 0.4 0.009 0.012 0.009 0.012 0.014 0.009 0.014 0.010 0.012 0.014 0.008 0.014 0.008 0.016 0.014 500 10 W 0.7 0.011 0.017 0.009 0.017 0.013 0.006 0.012 0.008 0.009 0.011 0.006 0.014 0.006 0.011 0.014 500 20 B 0.4 0.010 0.010 0.009 0.011 0.011 0.009 0.009 0.010 0.010 0.008 0.010 0.009 0.007 0.010 0.009 500 20 B 0.7 0.011 0.013 0.012 0.012 0.012 0.008 0.005 0.007 0.008 0.006 0.011 0.012 0.010 0.009 0.009 500 20 W 0.4 0.009 0.011 0.010 0.013 0.012 0.008 0.010 0.007 0.009 0.010 0.007 0.014 0.009 0.013 0.013 500 20 W 0.7 0.010 0.013 0.008 0.015 0.013 0.006 0.010 0.007 0.012 0.008 0.007 0.008 0.007 0.011 0.013 1000 10 B 0.4 0.012 0.012 0.013 0.013 0.013 0.011 0.012 0.011 0.011 0.012 0.013 0.012 0.014 0.012 0.014 1000 10 B 0.7 0.017 0.015 0.017 0.015 0.016 0.010 0.012 0.011 0.013 0.010 0.014 0.014 0.015 0.014 0.014 1000 10 W 0.4 0.011 0.014 0.009 0.014 0.015 0.009 0.013 0.008 0.013 0.013 0.011 0.015 0.009 0.015 0.015 1000 10 W 0.7 0.010 0.015 0.008 0.014 0.014 0.009 0.011 0.009 0.011 0.011 -0.231 -0.211 -0.233 -0.210 -0.213 1000 20 B 0.4 0.012 0.010 0.009 0.010 0.010 0.009 0.010 0.010 0.009 0.009 0.010 0.009 0.010 0.010 0.011 1000 20 B 0.7 0.012 0.012 0.012 0.011 0.011 0.009 0.008 0.008 0.009 0.008 0.009 0.010 0.010 0.010 0.009 1000 20 W 0.4 0.008 0.011 0.007 0.012 0.013 0.009 0.012 0.007 0.012 0.012 0.008 0.009 0.006 0.013 0.013 1000 20 W 0.7 0.009 0.011 0.006 0.013 0.013 0.008 0.011 0.007 0.010 0.011 0.007 0.010 0.006 0.010 0.011

** p<.01

46

表 4-12

多因子次級 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量尺 相關

Binomial Normal Skew

一 二 三 四 五 一 二 三 四 五 一 二 三 四 五

500 10 B 0.4 0.011 0.012 0.012 0.013 0.011 0.011 0.010 0.009 0.010 0.012 0.011 0.011 0.012 0.011 0.011 500 10 B 0.7 0.013 0.014 0.011 0.014 0.013 0.009 0.008 0.008 0.013 0.013 0.014 0.015 0.011 0.015 0.014 500 10 W 0.4 0.008 0.012 0.009 0.014 0.014 0.007 0.008 0.009 0.015 0.016 0.008 0.011 0.007 0.012 0.012 500 10 W 0.7 0.009 0.012 0.010 0.018 0.018 0.004 0.003 0.003 0.009 0.006 0.011 0.016 0.008 0.020 0.020 500 20 B 0.4 0.010 0.009 0.007 0.008 0.011 0.007 0.007 0.008 0.011 0.009 0.009 0.009 0.009 0.010 0.009 500 20 B 0.7 0.011 0.012 0.009 0.010 0.014 0.008 0.009 0.008 0.007 0.010 0.012 0.011 0.010 0.013 0.012 500 20 W 0.4 0.008 0.012 0.007 0.014 0.011 0.007 0.014 0.006 0.011 0.012 0.005 0.012 0.007 0.013 0.011 500 20 W 0.7 0.007 0.014 0.006 0.015 0.016 0.006 0.009 0.004 0.009 0.010 0.007 0.011 0.004 0.019 0.016 1000 10 B 0.4 0.012 0.012 0.011 0.012 0.012 0.009 0.010 0.011 0.012 0.012 0.013 0.013 0.012 0.012 0.012 1000 10 B 0.7 0.014 0.015 0.014 0.014 0.014 0.009 0.011 0.011 0.011 0.010 -0.008 -0.005 -0.002 0.003 0.005 1000 10 W 0.4 0.010 0.014 0.010 0.015 0.017 0.010 0.011 0.010 0.015 0.014 0.010 0.015 0.010 0.014 0.015 1000 10 W 0.7 0.011 0.013 0.012 0.020 0.019 0.006 0.010 0.009 0.015 0.014 -0.070 -0.051 -0.045 -0.025 -0.024 1000 20 B 0.4 0.008 0.008 0.008 0.010 0.009 0.010 0.009 0.008 0.010 0.009 0.010 0.011 0.010 0.009 0.011 1000 20 B 0.7 0.011 0.013 0.010 0.012 0.011 0.009 0.010 0.009 0.010 0.008 0.011 0.011 0.011 0.013 0.014 1000 20 W 0.4 0.007 0.010 0.008 0.010 0.012 0.008 0.011 0.007 0.011 0.012 0.007 0.014 0.007 0.014 0.012 1000 20 W 0.7 0.009 0.012 0.008 0.016 0.016 0.007 0.010 0.006 0.010 0.010 0.004 0.010 0.007 0.016 0.016

** p<.01

三、迴歸參數估計成效之比較

分析過程所產生的 RMSE 值表格過於龐大，然爲清楚呈現參數與無參數估 計成效間的差異，文中僅列出三者 RMSE 之差異，並輔以 t-test 檢驗顯示不同參 數估計法間的差異有無達顯著性(正值代無參數型好；負值表參數型好)。

表 4-13 與 4-14 的發現如前一小節中領域量尺分數的發現一樣。使用無參數 HIRT 的參數估計並不會使得迴歸參數的估計變得比較不好，相反的仍然可獲得 與參數型的估計方法幾乎相同的結果。簡單來說，無參數的估計方法可以獲得總 體量尺分數的精準估計，更可以保有領域量尺分數與迴歸參數的估計結果。

48

表 4-13

單因子迴歸 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量尺 相關

Binomial Normal Skew

一 二 三 四 五 一 二 三 四 五 一 二 三 四 五

500 10 B 0.4 -0.002 -0.005 -0.005 0.000 -0.003 0.008 -0.013 -0.002 0.005 0.005 0.000 -0.009 -0.003 -0.009 -0.003 500 10 B 0.7 0.003 -0.002 -0.004 0.003 -0.003 -0.001 0.001 0.008 0.002 -0.007 0.001 -0.013 0.003 -0.006 0.002 500 10 W 0.4 0.007 0.000 -0.002 -0.002 0.003 0.001 -0.003 0.014 -0.009 0.001 0.002 0.003 0.015 -0.012 -0.008 500 10 W 0.7 0.005 -0.009 0.001 0.003 -0.010 0.008 0.005 -0.011 -0.004 0.006 -0.001 0.002 0.006 -0.004 0.008 500 20 B 0.4 -0.005 0.002 -0.004 -0.004 -0.003 0.000 -0.006 -0.004 -0.005 0.006 0.001 0.004 -0.003 -0.002 -0.008 500 20 B 0.7 0.001 0.001 -0.001 0.005 0.000 -0.001 0.005 -0.004 0.003 -0.003 0.001 0.000 0.003 0.001 -0.002 500 20 W 0.4 0.007 -0.004 0.008 0.002 0.000 -0.002 -0.003 -0.020 0.003 0.001 0.004 -0.005 -0.006 0.006 -0.002 500 20 W 0.7 0.004 -0.007 0.003 0.012 -0.002 -0.006 0.010 -0.008 -0.010 -0.002 0.004 0.003 0.001 0.001 0.002 1000 10 B 0.4 0.005 0.002 0.001 0.004 -0.001 0.005 0.001 0.005 -0.005 0.002 0.000 0.002 -0.004 0.003 -0.002 1000 10 B 0.7 0.003 -0.004 -0.006 0.007 0.010 -0.001 -0.004 0.002 0.002 0.003 -0.015 0.000 0.001 -0.006 -0.003 1000 10 W 0.4 0.007 -0.001 0.002 0.004 -0.001 0.001 -0.002 0.000 -0.003 0.004 -0.002 0.011 0.010 0.000 0.008 1000 10 W 0.7 0.007 0.005 -0.002 0.006 0.001 0.010 -0.005 -0.004 0.005 -0.004 -0.008 -0.001 -0.003 -0.006 -0.006 1000 20 B 0.4 0.004 0.003 0.001 0.001 0.001 0.001 0.004 0.002 -0.008 -0.005 -0.003 -0.002 0.001 -0.003 0.001 1000 20 B 0.7 -0.005 0.000 -0.004 -0.002 -0.001 0.001 -0.001 0.002 -0.002 0.000 -0.004 -0.003 -0.001 0.001 -0.003 1000 20 W 0.4 0.001 0.000 0.004 0.007 -0.009 -0.001 0.002 -0.001 -0.008 -0.003 0.001 -0.005 0.001 -0.001 0.001 1000 20 W 0.7 0.004 0.003 -0.003 0.002 0.002 0.003 0.003 -0.001 -0.004 -0.004 0.000 0.003 -0.004 -0.002 -0.001

** p<.01

表 4-14

多因子迴歸 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量 尺相

關

Binomial Normal Skew

一 二 三 四 五 六 一 二 三 四 五 六 一 二 三 四 五 六

500 10 B 0.4 -0.001 0 0.018 0.036 0.003 -0.003 -0.025 0.001 0.016 0.04 0 -0.001 -0.005 0.002 -0.001 0.024 0.01 -0.002 500 10 B 0.7 -0.001 0.002 0.001 0.008 -0.004 -0.002 -0.004 0.024 -0.005 0.003 -0.016 -0.011 -0.004 0.007 -0.005 -0.007 0.003 -0.001 500 10 W 0.4 0.009 0.022 0.015 0.011 -0.013 -0.002 0.002 0.004 0.029 0.041 -0.003 0 0.004 0.005 0.021 0.002 0.009 0.008 500 10 W 0.7 0.017 0.03 0.01 -0.005 -0.011 -0.007 -0.041 0.04 0.006 -0.01 -0.022 -0.021 0.032 0.01 0.006 0.022 -0.004 -0.004 500 20 B 0.4 0.02 0.003 0.006 0.018 -0.005 -0.006 0.03 0.021 0.001 0.004 -0.008 -0.011 -0.001 0.009 0.002 0 0.004 0.004 500 20 B 0.7 0.006 0.004 -0.001 0.003 0 0.003 0.004 0 0.003 -0.001 -0.01 -0.005 0.009 0.01 -0.006 0 0 0.005 500 20 W 0.4 0.035 0.016 0.008 0 -0.002 -0.008 0.012 0.021 0.008 -0.001 -0.007 0 0.019 0.02 0.019 0.012 0.004 0.004 500 20 W 0.7 0.01 0.003 0.007 0.001 -0.004 -0.01 0 0.011 0.013 -0.024 -0.017 -0.012 0.014 0.019 -0.003 -0.005 0 -0.005 1000 10 B 0.4 -0.03 0.026 -0.015 0.004 0.002 -0.003 -0.009 0.005 -0.003 0.009 0.002 0.001 -0.017 0.005 0.007 0.012 -0.002 -0.001 1000 10 B 0.7 -0.011 0.002 -0.002 0.009 0.003 0.008 0.007 0.006 -0.002 -0.004 -0.003 -0.001 0.003 0.009 0.001 0.004 0.012 0.019 1000 10 W 0.4 0.002 0.01 0.009 0.018 0.009 0.013 0.007 0.023 0.013 0.006 0.012 0.003 0.008 0.001 0.002 0.027 -0.002 0.009 1000 10 W 0.7 0.016 0.018 -0.005 0.014 0.007 0.008 0.014 0.013 0.015 0 0.003 0 0.022 0.029 -0.008 -0.013 0.022 0.031 1000 20 B 0.4 -0.001 0.009 -0.001 0 0.003 0.006 -0.008 0.005 0.001 -0.001 -0.001 -0.002 0.003 0.004 0.003 0.002 0.009 0.013 1000 20 B 0.7 0.002 0.001 -0.005 -0.003 0.002 0.005 0.005 0.003 0 0 -0.008 -0.002 0.003 0.01 0 -0.001 0.01 0.003 1000 20 W 0.4 -0.012 0.007 -0.004 0.001 -0.009 -0.002 0.001 0.01 0.002 0.001 0.008 0 0.01 0.018 -0.007 0.007 0.007 -0.005 1000 20 W 0.7 -0.002 0.005 0 0.012 0 0 -0.008 0.012 0.004 -0.012 -0.001 -0.011 -0.003 0.002 0.002 0.006 0.006 0.006

** p<.01

50

四、試題參數估計成效之比較

分析過程所產生的 RMSE 值表格過於龐大，然爲清楚呈現參數與無參數估 計成效間的差異，文中僅列出三者 RMSE 差異，並輔以 t-test 檢驗顯示不同參數 估計法間的差異有無達顯著性(正值表無參數型好；負值表參數型好)。

表 4-15

單、多因子試題 RMSE 差異表（無參數與參數）

人數 題數 多向度 架構

領域量尺 相關

Binomial Normal Skew 單因子

架構

多因子 架構

單因子 架構

多因子 架構

單因子 架構

多因子 架構 500 10 B 0.4 -0.003 0.000 -0.002 -0.001 -0.002 0.000 500 10 B 0.7 -0.002 -0.004 -0.003 -0.005 0.003 -0.007 500 10 W 0.4 -0.006 -0.005 -0.003 -0.005 -0.013 -0.002 500 10 W 0.7 -0.001 -0.006 -0.007 -0.018 -0.011 -0.005 500 20 B 0.4 -0.003 -0.001 -0.003 -0.001 -0.004 0.001 500 20 B 0.7 0.000 -0.002 -0.003 -0.004 -0.006 -0.001 500 20 W 0.4 0.000 0.000 -0.004 -0.004 -0.002 -0.006 500 20 W 0.7 0.001 -0.004 -0.001 -0.004 -0.002 -0.012 1000 10 B 0.4 -0.002 -0.001 -0.004 0.000 -0.002 0.002 1000 10 B 0.7 -0.002 -0.001 -0.003 -0.004 -0.003 -0.006 1000 10 W 0.4 -0.005 0.004 -0.007 -0.004 -0.003 0.002 1000 10 W 0.7 -0.002 -0.002 0.001 -0.001 -0.105 -0.027 1000 20 B 0.4 -0.004 -0.001 -0.002 0.000 -0.004 0.001 1000 20 B 0.7 0.000 -0.002 -0.005 0.000 -0.003 0.000 1000 20 W 0.4 -0.003 0.000 -0.001 0.005 -0.008 -0.001 1000 20 W 0.7 -0.003 0.000 0.002 -0.004 0.005 0.001

表 4-15 的發現與前一小節中領域量尺分數的發現相似，在此不加贅述。

五、小結

無參數型 MH-within-Gibbs sampling 估計法是可行的；透過與參數型的估計 結果比較，可發現無參數型 MH-within-Gibbs sampling 法對於 HIRT 模式的估計 具較高的精準度，特別當總體量尺分數違背常態性假設時。