• 沒有找到結果。

第三章 研究方法

第四節 研究工具

壹、MATLAB R2010a

MathWorks於1984年所推出的MATLAB軟體是一高階科學運算語言,可以分 析資料與計算數值、進行系統模擬、發展演算法和互動式環境之應用。「MATLAB R2010a」中涵蓋了許多不同的功能,隨著數值運算需求的演變與不斷更新改版,

可以更有效率地撰寫程式、編碼及繪圖,同時提升視覺化、數學運算能力、資料 擷取與效能;因此,本研究將運用MATLAB軟體撰寫自動化分析模型的程式。

貳、貝氏網路工具箱

以MATLAB結合Murphy(2004)所設計的 Bayes Net Toolbox for Matlab之相關 函數,再加上TASBN (Test Analysis Software based on Bayesian Network)工具箱,

三者結合成一完整程式(郭伯臣、謝典佑,2007),依施測樣本的單元目標、子技 能、錯誤類型、試題等資料,來計算貝氏網路的辨識率。

參、SPSS 18.0 (Statistical Product and Service Solutions)

SPSS為統計分析軟體,本研究用以分析試題信度。

肆、自編「指數律與科學記號」單元診斷測驗

本研究目的之ㄧ在建置可自動計分之數學科建構反應題線上診斷系統,以下 對試題編製的過程做說明:

一、彙整子技能與錯誤類型

根據之前收集的相關文獻、專家學者、實際教學工作者的意見,彙整出與能 力指標中「指數律與科學記號」學習內容相關的子技能及錯誤類型,將錯誤類型 與子技能相對應關係整理如表3-4-1所示。

表 3-4-1 「指數律與科學記號」的子技能與錯誤類型對應表

代號 錯誤類型 對應子技能

M-01 誤認乘方的定義。 S-01、S-02、S-04、S-08

M-02 乘方的計算錯誤。 S-01、S-04、S-05

M-03 含乘方的四則運算錯誤。 S-01、S-02、S-03、S-04、

S-05

M-04 底數相同的乘方,乘法運算錯誤。 S-02、S-11

M-05 底數相同的乘方,除法運算錯誤。 S-02、S-03、S-05

M-06 乘方的乘方運算錯誤。 S-03、S-05

M-07 10 的次方與數值間的轉換錯誤。 S-06、S-07

M-08 誤認負指數的定義。 S-04、S-09

M-09 不明白科學記號 a×10 n,1≦a<10 的條件。 S-06 M-10 不明白科學記號 a×10n,n 為整數的條件。 S-06

M-11 科學記號表示法錯誤。 S-06、S-09

M-12 無法將科學記號乘開,轉換為數值。 S-08、S-11

M-13 無法以科學記號表示數。 S-09

M-14 無法以科學記號比較大小。 S-10

M-15 含科學記號的四則運算錯誤。 S-09

M-16 誤看題意。 S-01、S-02、S-05、S-06、

S-07、S-11

二、建立專家知識結構與命題卡

本研究與二位專家及四位現場教學教師一起討論建立出「指數律與科學記號」

學習內容的專家知識結構圖,如圖3-4-1所示,每一個節點代表一個學習概念,每 一個學習概念均可以命題,命題卡內容詳如附錄三。本測驗長度共20題,選擇題 題型20題,其中挑選3題適合之題目,另建置為建構反應試題之題型3題,節點內 容和研究中子技能的部份相同。

圖 3-4-1 「指數律與科學記號」單元的專家知識結構圖

S-01 S-06

S-02 S-03 S-04 S-05 S-07 S-08 S-09

S-11 S-10

表 3-4-2 的試題選項設計中,除了正確的解答以外,其餘的選項皆包含一

表 3-4-3 預試試卷之評量架構表

試題 對應之錯誤類型 對應之子技能

Item-01 M-07、M-09、M-11 S-06

Item-02 M-04 S-02

Item-03 M-10、M-16 S-06

Item-04 M-05、M-15 S-11

Item-05 M-03、M-04 S-02

Item-06 M-07、M-16 S-07

Item-07 M-01、M-05、M-16 S-02

Item-08 M-05、M-06 S-03

Item-09 M-03、M-06 S-03

Item-10 M-11 S-09

Item-11 M-03、M-05、M-06 S-05 Item-12 M-08、M-11、M-15 S-09 Item-13 M-02、M-03、M-08 S-04

Item-14 M-14 S-10

Item-15 M-01、M-02、M-08 S-04 Item-16 M-01、M-02、M-03 S-01

Item-17 M-02、M-16 S-01

Item-18 M-07、M-16 S-07

Item-19 M-01、M-12 S-08

Item-20 M-13 S-09

四、選擇題的預試與結果分析

針對預試測驗之分析資料如表 3-4-4 所示。經由預試後的作答情形分析,

測驗內部一致性的數值Cronbach’s Alpha 係數值為 0.88,符合信度分析之標準,

由「刪除後的 alpha 係數」可看出,若刪除 Item-01、Item-07、Item-12、Item-18 會 提 升 測 驗 內 部 一 致 性 的 數 值 Cronbach’s Alpha 係數 值 , 但 由 Ebel &

Frisbie(1991)將試題的難度分為五個等級,如表 3-4-6 所示,此四題中,Item-12、

Item-18 難度較困難,Item-01、Item-07 的難易度適中,再由 Ebel(1979)所提出 之鑑別度評鑑標準,如表 3-4-7 所示,Item-01、Item-07、Item-12、Item-18 之評 鑑度均為優良之題目,而其餘之題目,任一題刪除均會造成總 alpha 係數減少,

經由分析認為此四題之題型均有保留之必要性。因此不需要刪除題目,而由試 題 反 應 理 論 , 鑑 別 度 均 大 於 0.25 ,表 示有相當鑑別度 , 難度理想分布於 0.3321~0.8143 之間,亦在可以接受之範圍。

表 3-4-4「指數律與科學記號」單元預試試題參數、答題情形及信度表 試題 Cronbach’s

Alpha 0.88

鑑別度 難度

IF ITEM DELETED

Item-01 0.8810 0.5000 0.4357

表 3-4-4「指數律與科學記號」單元預試試題參數、答題情形及信度表(續)

試題 Cronbach’s Alpha 0.88

鑑別度 難度

IF ITEM DELETED

Item-15 0.8748 0.7429 0.5857

Item-16 0.8789 0.5500 0.4250

Item-17 0.8762 0.7214 0.5750

Item-18 0.8802 0.4857 0.3500

Item-19 0.8745 0.7929 0.5679

Item-20 0.8763 0.7143 0.4786

表 3-4-5 Ebel & Frisbie(1991)之試題難度等級表

難度(P) 難度等級

P≧0.80 非常容易

0.80>P≧0.60 容易

0.60>P≧0.40 難易適中

0.40>P≧0.20 困難

0.20>P 非常困難

表 3-4-6 Ebel(1979)之鑑別度評鑑標準表

鑑別度 試題評鑑

0.40 以上 非常好

0.30 ~ 0.4 好,但需小幅度修改 0.20 ~ 0.3 尚可,但需部分修改 0.19 以下 差,需要大幅度修改或刪除

在實際的數學測驗中,不同的思考邏輯與方向,解題的歷程也就不相同,

然而數學的解題方式往往都不只有一種,既然如此,解題的歷程就不會有標準 的答案,只要合乎邏輯,所推演的結果正確,解答就是正確,在計算的過程中,

常常會因為計算錯誤,導致結果錯誤,這是可以依照作答的正確度多寡,而給 予部分的分數,選擇題的測驗方式選項有限,但是學生的作答反應卻是無限多 種可能,有可能因為學生作答計算錯誤,選項中沒有這個選項,導致學生猜題,

而無法得知正確的錯誤類型,因此,利用建構反應題作答,便可以詳細的知道 學生的迷思概念與作答情形。

綜觀上述,知道使用建構反應題可以更加詳盡獲得學生的迷思概念與學習 成效。本研究所編製的試題亦無作答時間之限制,除了全部選擇題題型之試題 以外,另從選擇題內挑選適合之試題,開發建置建構反應試題,試卷內容分佈 為 20 題選擇題與 3 題建構題,此單元所編製之正式施測,測驗試題共 23 題。