適性計分方法之分析

圖十三 J 校 108-2 某學伴之前測結果 圖十四 J 校 108-2 某學伴之前後測結果

第六節、適性計分方法之分析

於適性計分方法介紹中有提過，使用ContrustMap 進行 IRT 分析所得之小學伴能力 在越低學齡之小學伴身上有越高的估計誤差，舉例來說，若有一位小學伴從國中一年級 開始就完全掌握國小六年級程度以下之所有數學題目，以及另一位從國中一年級就完全 掌握國一上學期程度之下的所有數學題目，假設此兩位小學伴在整個國中生涯中的數學 能力都沒有進步，但也沒有遺忘過所掌握之數學能力，則依照IRT 所計算及以適性計分 方式所計算之能力變化圖形如圖十五及圖十六。

32

圖十五 完全掌握小六/國一上之 IRT 結果 圖十六 完全掌握小六/國一上之適性結果

由此舉例中可以看出對於 IRT 分析而言，沒有遺忘所學也沒有任何成長就是一個 穩定不變的沒有進步也沒有退步的能力值；但對於適性計分而言，隨著學齡的增加卻沒 有任何作答能力上的進步，其視為是一種退步表現，以一位國一上學期之學生而言，完 全掌握國小六年級以下程度之數學題目確實是非常優秀，但以一位國三下學期即將面對 會考之學生而言僅完全掌握國小六年級以下程度之數學能力顯然是不足的。

此外再額外舉例，倘若今天有一位小學伴之學習能力極高，永遠都能完全掌握過所 學之數學能力；而另外一位則完全相反，無論如何學習都完全不會做答，經過IRT 分析 以及適性計分方式計算後所得能力變化如圖十七及圖十八。

圖十七 完全/無法掌握所學之 IRT 結果 圖十八 完全/無法掌握所學之適性結果

從此舉例中可以看出，適性計分方式可以有效地將所有不同年級之小學伴以同一尺 度指標表示該小學伴之數學能力是否符合其當前年級程度，但其判別小學伴之數學能力 是否有所增加則較為嚴格；而 IRT 之分析結果則可以更加明顯的表現出小學伴在學習

33

生涯中的成長狀況，從一開始只能做答小六的題目開始，到後來不僅有能力完整作答整 份試卷，此兩種計分方式各有其適合使用之時機，對於研究小學伴能力是否增長而言 IRT 之計分方式較為合適；實際應用於提供大學伴參考指標而言，使用適性計分方式會 有更好的效果。

然而本研究將兩種計分方式分別繪製成程度變化圖形時發現在實際應用上此兩者 計分方式在圖形表現上並沒有太多的差異，若將 IRT 之所有結果+5 使其變為正數後再 以適性方式計算兩種計分方式之相關係數後得到0.973 之高度相關，兩種完全不同方法 以及在分析上認為有差異之計分方式，最終卻皆能得到近乎完全相同之結果，屬意外之 收穫，相關圖形收錄於圖目錄之中。

34