第三章 研究方法
第四節 研究工具
為達到本研究之目的,研究過程需要以下工具的協助:第三次段考複習卷,
SPSS 統計分析軟體,ITEMAN 套裝軟體,自編數學教材及教學媒體,自編補救 教學教材與媒體,電腦化適性診斷測驗試題,貝氏網路分析軟體、OT 試題反應 理論軟體,BNAT 電腦線上診斷測驗系統,電腦態度問卷,資訊融入數學教學之 學習意見問卷。分別說明如下:
一、第三次段考複習卷
為探討不同電腦態度組學生在接受不同教學模式後之教學成效,本研究使用 南一版98 學年度第一學期第三次段考複習卷,作為收集學生起點成績的工具,
試卷共12 題選擇題,8 題填充題與 2 題計算題。
二、SPSS 統計分析軟體
本研究使用SPSS 統計軟體來計算診斷測驗試題的信度;並對教學實驗後的 數據進行二因子共變數分析,以瞭解教學、補救教學成效是否具有顯著差異。
三、ITEMAN 套裝軟體
ITEMAN(Item and Test Analysis Program)是一套傳統的測驗試題分析軟 體,可提供古典測驗的項目與內容分析,本研究用來分析診斷測驗試題的難度、
鑑別度,並計算每一個誘答選項的點二系列相關係數,分析試題誘答選項的適合 度。
四、自編數學教材及教學媒體
本研究根據專家知識結構編輯等差數列單元的數學教材及教學媒體,內容包 括「教師手冊」、「單元講義」及「教學動畫媒體」,主要提供給實驗組教學使用,
並與控制組所用之審定版教科書做一區別,以探討使用不同教材的不同教學模式 之教學成效。本研究使用adobe Illustrator CS3 與 Ulead photoImpact 軟體編製教 材中的圖片,以Microsoft Office Word 2003 軟體編輯教學手冊,並依據教學手冊 的詳案,運用Microsoft Office Power Point 2003 軟體編製教學媒體,本單元共分 為6 個活動,23 個重點,及 20 個教學多媒體,內容包含了觀念導入及教師布題 與詳解。
教學媒體製作過程,均邀請一位數學領域專家教授與二位具多媒體教材編輯 經驗之中學數學教師對本教材進行評鑑,就內容正確性、版面設計及動畫呈現順 序進行修正,以提升本教學媒體的專家效度。詳細自編數學教材及教學媒體成品 請參閱第四章。
五、自編補救教學教材與媒體
本研究所用到的補救教材與補救多媒體是根據專家知識結構與學生知識結 構所編輯而成,內容包含「教師手冊」、「學生加油手冊」及「補救多媒體」。「教 師手冊」及「補救多媒體」提供給實驗組教師補救教學用,「學生加油手冊」提
供給實驗組學生補救教學用,在此,是要與控制組所用之傳統試卷檢討的補救教 學做一區別,以探討使用不同教材的不同補救教學模式之補救教學成效。
本單元共分為6 個活動,23 個練習,及 20 個補救教學多媒體,內容包含了 重點整理及教師布題與觀念的澄清。補救教學媒體製作過程,均邀請一位數學領 域專家教授與二位具多媒體教材編輯經驗之中學數學教師對本教材進行評鑑,就 內容正確性、版面設計及動畫呈現順序進行修正,以提升本教學媒體的專家效 度。詳細自編數學教材及教學媒體成品請參閱第四章。
五、電腦化適性診斷測驗試題
(一)試題編製與預試分析
本研究所編製之試卷是依據教育部(2003)編訂之九年一貫數學領域課程綱 要,有關八年級「等差數列」之分年細目8-n-05、8-n-06、8-n-07 所分析出之子 技能及可能發生的錯誤類型,結合專家知識結構及貝氏網路等理論,編製而成。
為配合電腦線上施測,故試題皆以選擇題形式呈現。每一個子技能節點均編製1
~2 題試題,每個試題只測單一子技能,且試題中每一個錯誤選項都代表一種錯 誤類型。研究者統計分析學生的作答情形,並逐一審閱每一張試卷,作為診斷測 驗系統判定受試者子技能及錯誤類型發生的標準,完整試題請參閱附錄三。
本單元測驗試題之預試分析結果如表3-4-1 及附錄四所示,本試題在編制完 成後,邀請前述具有教學及測驗編製經驗的2 位學者及 4 位中學老師協助檢視審 核試題,故具內容及專家效度。在信度分析方面,以 Cronbach α 系數檢驗內部 一致性,所得總試題的α 值為 0.9,表示此份測驗信度良好,並再從表 3-4-1 中 發現,刪除33 題信度變高外,因本份試卷為診斷測驗,每一題均對診斷有所貢 獻,且刪除此題,整體信度只提高 0.003,故考慮留下此題,而對此題進行進一 步的分析與修題。
本研究診斷試題難度為通過率,鑑別度採用點二系列相關係數;難度指數愈 高,代表該試題愈容易;反之,則代表該試題愈難。如表3-4-1 所示,本測驗的 難度值介於0.42 到 0.96 之間,難度平均值為 0.687,表示本研究之診斷試題對於
八年級學生而言,是屬於中等略偏易的題型。其中Item1、Item2、Item10、Item12、
Item13、Item15、Item22 及 23 的通過率>0.8,通過率較高,但鑑別度最低為 0.39,
大於0.25,且由誘答選項分析表(附錄四)中發現,這幾題的誘答選項在低分組 部分均有人選,且比高分組多人,而正確選項高分組均比低分組多人選,故仍為 優良試題,考慮不予以修題。
表
3-4-1 診斷測驗試題之預試分析結果
試題編號 鑑別度 難度 項目刪除 時的
α 值
試題
編號 鑑別度 難度 項目刪除 時的
α 值
Item01 0.17 0.96 0.9 Item 18 0.6 0.77 0.895 Item02 0.39 0.91 0.898 Item 19 0.5 0.51 0.897 Item03 0.37 0.56 0.899 Item 20 0.48 0.66 0.897 Item04 0.37 0.62 0.899 Item 21 0.61 0.76 0.895 Item05 0.53 0.68 0.896 Item 22 0.52 0.8 0.896 Item06 0.57 0.71 0.895 Item 23 0.41 0.85 0.898 Item07 0.36 0.42 0.899 Item 24 0.53 0.55 0.896 Item08 0.51 0.68 0.897 Item 25 0.57 0.64 0.895 Item09 0.52 0.53 0.896 Item 26 0.5 0.79 0.896 Item10 0.52 0.82 0.896 Item 27 0.6 0.63 0.895 Item11 0.57 0.59 0.895 Item 28 0.38 0.52 0.899 Item12 0.4 0.96 0.898 Item 29 0.56 0.65 0.896 Item13 0.45 0.82 0.897 Item 30 0.55 0.7 0.896 Item14 0.53 0.69 0.896 Item 31 0.53 0.67 0.896 Item15 0.6 0.81 0.895 Item 32 0.58 0.65 0.895 Item16 0.48 0.58 0.897 Item 33 0.17 0.6 0.903 Item17 0.66 0.6 0.893鑑別度範圍介於0.17 到 0.66 之間,平均鑑別度為 0.488,除了 Item1 及 Item33
1.【Item33】試題如下:
( )有一等差數列:2,5,8,11,14,17,20,…,若將此數列依序填入 下圖,此圖共有4 行,先從第一列將數列依序由左而右填進去,填完 後再填第二列,則113 是在第幾列,第幾行?
c第 9 列,第 2 行 d第 9 列,第 1 行 e 第 10 列,第 2 行 f第 10 列,第 1 行
【Item33】屬專家知識結構中 S23(能應用等差數列的性質解決日常生活中 的問題)的試題,如表3-4-1 及附錄四所示,Item33 之鑑別度低於 0.25,刪除後
變少,另外,因此題計算過程教多步驟,當高分組學生算出間接答案時,常誤以 為是最後的答案,而比低分組學生更易犯此項錯誤,故在教學時應多加強項數估 算或判斷錯誤等觀念,另外將試題數字加大一些些,避免學生將全部數字列出,
而找出答案。
故將Item33 題目修改如下如下:
( )有一等差數列:2,5,8,11,14,17,20,…,若將此數列依序填入 下圖,此圖共有4 行,先從第一列將數列依序由左而右填進去,填完後 再填第二列,則152 是在第幾列,第幾行?
c第 12 列,第 3 行 d第 12 列,第 2 行 e 第 13 列,第 3 行 f第 13 列,第 2 行
2.【Item1】試題如下:
( )下列何者為數列?
c 15×(14+18)+12×(13+22) d 5,10,15,20,25 e 1+2+3+4+5 f 1×2×3×4×5
【Item1】屬專家知識結構中 S1(能辨別何謂數列)的試題。由學生作答反 應可得知,鑑別度為0.17,高分組答對率 0.99,低分組答對率 0.92,通過率高達
( )下列何者為數列?
c 15×(14+18)+12×(13+22) d 5,10,15,20,25 e 1+2+3+4+5 f 1+2)×3-5+7 六、貝氏網路分析軟體
本研究採用Test Analysis Software based on Bayesian Network (TASBN)作 為分析貝氏網路的工具,該軟體係郭伯臣、謝典佑(2007)利用 MATLAB 軟體 所開發的貝氏網路程式。其依施測樣本的能力指標、子技能、錯誤類型、試題等 資料,來建立本單元之貝氏網路。MATLAB 軟體主要應用於矩陣理論(matrix theory),線性代數(linear algebra)及數值分析(numerical analysis)等方面,是 一個相當強大的數值分析模擬軟體,最早版本是於1970 年末期,由 University of New Mexico 及 Stanford University 的研究人員所撰寫。
七、OT 試題反應理論軟體
本研究使用郭伯臣(1995)與田聖才共同開發「無參數試題反應理論與試題 順序結構分析法之多點計分整合模式」之試題結構分析程式分析診斷測驗試題,
以建立的學生試題結構,作為電腦適性化出題及補救教學結構的依據。此程式之 理論基礎源於Airasian & Bart(1973)的順序理論(ordering theory; 簡稱 OT),根 據郭伯臣(2005)的研究結果顯示,使用 OT 結構之適性測驗選題策略,所需訓 練樣本較少與可節省較多施測題數,優於IRS 與 Diagnosys。
八、BNAT 電腦線上診斷測驗系統
本研究採用以知識結構與貝氏網路為基礎之電腦化適性診斷測驗(Bayesian network based adaptive test, 簡稱 BNAT)作為施測工具,並以郭伯臣及曾彥鈞
(2007)設計之貝氏網路線上測驗平台作為施測平台。要完成此系統除了需上傳 已修改完,確定正確無誤的測驗試題外,尚須上傳兩項資料,一為OT 所建立之 學生試題結構,二為訓練貝氏網路所需的訓練資料集。
研究顯示,以試題結構作為選題策略,再利用貝氏網路進行推論,應用於診 斷學生錯誤類型,在節省題數、施測時間及預測精準度方面都有不錯的表現(楊
智為、劉育隆、楊晉民、曾彥鈞,2006)。
此系統利用網際網路(internet)作為系統平台的基礎,讓受試者可以隨時隨 地進行施測。學生只需上網登入(附錄五)、施測(附錄六),平台會將受試者的 作答反應,利用結合知識結構與貝氏網路的推論工具,分析出個別學生的診斷報 告(附錄七及附錄八)與班級學習狀態統計書(附錄九及附錄十),前者可看出 個別學生所可能具有的子技能與錯誤類型,後者可看出全班學生所具有的子技能 與錯誤類型的百分比,教師可參閱其結果,進行補救教學。本研究電腦化診斷測 驗施測情形請參閱附錄十一。
九、電腦態度問卷
本研究徵得劉恭言老師的同意,並附使用同意書如附錄二十八,使用劉恭言
(2008)的電腦態度調查表(附錄十二)為收集學生電腦態度數據的工具,以 spss 軟體分析學生填表得分情形,將學生分為二組,分別為高電腦態度組與低電 腦態度組。
本量表使用李克特氏五點評分量表方式,共包含了27 題。每一題依據學習 者的回答分為五種不同的答案,勾選「非常同意」給 5 分,勾選「同意」給 4 分,勾選「沒意見」給3 分,勾選「不同意」給 2 分,勾選「非常不同意」給 1 分。
此原始量表有四個構面,分別是電腦喜歡、電腦焦慮、電腦信心及電腦有用
此原始量表有四個構面,分別是電腦喜歡、電腦焦慮、電腦信心及電腦有用