• 沒有找到結果。

第五章、 討論與限制

第一節、 結果討論

大學生想像力測驗之分析結果我們可以從以下幾個角度來看:各參數之估計 值、Model-Data Fit 以及此分析結果在測驗上所代表的意義。

壹、各參數之估計值

24

圖 5 能力與答對機率圖

貳、Model-Data Fit

在試題反應理論下分析資料,每一個估計值除了誤差與顯著性之外,另外 還有一個指標,主要是探討模式與資料的適配度,此指標為 MNSQ。在設計類 科大學生想像力測驗的試題反應理論分析結果中,我們測的各面向(評分 者、評 分指標與階難度)之 MNSQ 與一般所認定的值(0.6-1.4)有所差距(如上表 2)。此 結果反應出模式與資料的適配度不如預期。造成這種現象的可能原因有很多 種,除了不適合用此模式來分析這筆資料外,樣本人數過少與試題品質不佳都 有可能造成此現象的產生。由於本量表經過多位專家的檢視,因此不排除這樣 的結果為樣本數所造成的影響。

參、分析結果與大學生想像力測驗的關聯性

大學生想像力測驗主要期待編製一份可以測量出大學生想像力之測驗,因 此在分析過後,研究者重新檢視分析結果與測驗編製之關聯性。首先,是評分 者效果的部分,雖然研究者知道評分者效果在想像力測驗中是存在的,然而研 究者的目的為控制評分者所產生的影響,儘管這樣的效果存在,如果研究者可

25

以在計分時將這樣的效果討論進去,可以說成功的控制了評分者效果。從另外 一個角度來看,兩位評分者之間的差異為 0.31,以此數值來解釋,兩位評分者 在此測驗中效果有所不同,評分者 B 之嚴厲程度較低。

接著是指標方面之探討,每個指標都有其對應的難度值,表示受試者在這 些指標上拿分數的容易程度。值得一提的,即使 各道試題之適配度指標(MNSQ)

雖然都在標準內,但是部分指標非常接近臨界值,另外加上估計之誤差皆很 大,這代表估計值不是非常的準確。針對這個狀況,研究者懷疑是樣本人數過 少所引起。

最後為階難度方面之探討,由上圖 5 可發現不論受試者能力值為何,得到 1 分的機率較低,即使在能力值-2.6 至-3.1 的高峰階段也儘比得 0 分與得 2 分支 機率高一點點,此現象表示 1 分在此測驗中無法很精確的區辨受試者能力,因 此可以考慮將此點數拿掉,將整份測驗改為四點記分。另外相同的階難度估計 值之誤差亦非常大。此種現象發生之主要原因應同上段所探討的,樣本人數的 影響。

在受試者的能力值方面,研究者使用同一套軟體的 EAP 法進行能力估計,

由於為了解決量尺不確定性的問題,設定受試者平均能力為 0。估出來的結果 顯示受試者能力平均為 0.11,變異數為 1.53。研究者認為變異數略大主要是由 抽樣誤差所造成。研究者認為樣本不具代表性與樣本數過小是主要的研究限 制。

在測驗訊息函數方面,可以看到不論是評分者 A 或是評分者 B,在受試者 能力值為-3 的時後可達到最高,這意味著此測驗在低能力值上具有區辨的能 力。其次在能力值為 1.5 的時後出現另外一個高峰,表示此測驗在受試者能力 值為 1.5 時亦有不錯的表現。因此設計類科大學生想像力測驗之較為適合區辨 出高能力與低能力之受試者,對於能力平庸者表現較差。

至此,大學生想像力測驗的分析也告一段落,最後 ConQuest 提供相當於

26

古典測驗理論中信度的值,也是在各測驗編製中無法忽略的一個重要指標。大 學生想像力測驗的信度值為 0.780,加上具有專家效度,本測驗可謂兼具信、

效度之優良測驗。

相關文件