根據上述編製依據與內容,研究者先行收集編製試題的 資料研擬試題初稿,由指導教授審定,並參考師大美研所研 究生五人意見編製而成,作為預試試題。在認知領域的分類 上,以雙向細目表(附錄十一)做為命題的依據, 並根據布魯 姆(Bloom, 1956) 所提出的教學目標分類為依據,將本學習 成就測驗教學目標分為:知識、理解、應用、分析、綜合與 評鑑六個不同能力層次(郭生玉,1996)。在效度上,以專家 效度(附錄十二)與預試內容效度為依據,通過以上考驗後方 擬定為正式的學習成就測驗卷,以下就編製過程概述如下:
1 .設計題目
由於施測時間、材料和工具、設備的限制,本研究所用
的學習成就測驗,主要以認知領域的學習成就為測驗內容。
題型分為四類即:是非題、選擇題、排排看、問答題。其中,
是非題、選擇題、排排看及問答題第三題,全部是採用純文 字結構的敘述。問答題第一、二題則採用文字敘述配合複製 畫的方式呈現。
2 .諮詢專家意見建立內容效度
研究者將初步編擬的試題,與相關授課教授、 實驗學校 (西門國小)及天母國小、內湖國小、碧湖國小、延平國小、
大屯國小等美勞教師 及師大美研所研究生五人討論,參考他 們的意見後修改,將修改後的試題請指導教授、師大美研所 研究生及任教於實驗學校-西門國小及天母國小、碧湖國小 美勞教師共九人,填寫專家效度評量表(附錄十二),建構內 容效度(content validity)-採用 Aiken(1980)’s V index 測量工具之內容效度量化指標,分析結果呈現於表 15:
表 1 5 專家效度評量表之內容效度量化指標
第一部分:是非題
題序 V 題序 V 題序 V 1 0.78* 7 0.83* 13 0.89*
2 0.83* 8 0.92* 14 0.89*
3 0.78* 9 0.75* 15 0.83*
4 0.81* 10 0.69 16 0.92*
5 0.56 11 0.86* 17 0.92*
6 0.92* 12 0.72*
第二部分:選擇題
題序 V 題序 V 題序 V
1 0.89* 7 0.89* 13 0.64 2 0.94* 8 0.94* 14 0.61 3 0.83* 9 0.92* 15 0.78*
4 0.92* 10 0.72* 16 0.83*
5 0.86* 11 0.72* 17 0.86*
6 0.86* 12 0.81*
第三部分:排排看
題序 V 題序 V 1 0.83* 2 0.81*
第四部分問答題:
題序 V 題序 V 題序 V 1 0.86* 2 0.86* 3 0.75*
註:*在統計考驗之顯著水準α=0.05 下,理想的內容效度指標之臨界值 Va=0.70
參考專家意見及內容效度量化指標後,形成學習成就預試測 驗卷(附錄十三),內容包含是非十七題,選擇十七題,排排看二 題,問答三題。
3 .作答與計分方式
本測驗的題型有四大類,其計分方式如下:
(1) 是 非 題 : 請受試者依個人的判斷,認為對的以打「Ο」表示,
認為錯的以打「×」表示,凡是與正確答案相同者計一分,不 符者則以零分計算。
(2) 選擇題:每一題均有四個選項,請受試者依個人的判斷在其 中選擇一項,計分時,凡是與正確答案相同者計一分,不符 者則以零分計算。
(3) 排排看:請受試者依個人的判斷,將題目要求的正確順序寫 出,凡是與正確答案相同者計一分,不符者則以零分計算。
(4) 問答題:問答題一和二,請受試者依題意看圖寫出個人的想 法,再視受試者的回答,以評分者一致性計分。問答題三,
請受試者依題意畫出皮影戲偶分解圖,符合五項要求者給五 分,符合四項要求者給四分,符合三項要求者給三分,符合 二項要求者給二分,符合一項要求者一分,完全不符合者以 零分計算。
4 問卷預試與試題分析 (1) 問卷預試
問卷預試旨在了解試卷的難度與鑑別度指數,以此作為正試 測驗卷之選題依據。
為了了解問卷在實施上可能遭遇的困難,研究者將預試用測 驗卷,先請西門國小六年級導師推薦兩位中等程度學生男、女各 一名試作,以實際了解學生對試題的反應,並提供研究者分配填 答時間的參考。之後,研究者再將預試測驗卷以西門國小六年級 兩個班級學生五十六人,與碧湖國小六年級一個班級學生二十七 人,為預試對象,於九十年三月二十一日上午,分別以班為單位,
由研究者本人主持預試,預試時間約需 20 分鐘,預試結果共得 有效問卷八十三份。
(2) 試題分析與結果
將預試所得資料,請指導教授王國川博士利用 SAS 統計軟體 進行試題分析,計算出高、低分組在每一個試題的答對人數與百
分比,再根據公式計算出每題的難度與鑑別度指數,目的在確定
表 1 7 學習成就測驗「選擇題」預試卷試題分析結果
5 確定正式測驗卷 (1) 選題
學習成就測驗採難度與鑑別度指數作為選題依據,其中凡是 鑑別度指數越大,且難度在.05 左右的題目,均選為正式測驗的 試題。其中選擇題十二與十三雖然達於上述標準,但都屬於同一 類型且內容相同的題目,故保留 t 值較大的十三題,刪除 t 值較 小的十二題。另外,問答題一、二和三,在預試中學生反應題意 不清,經與指導教授討論後,認為其一原因可能是題意不清,其 二原因可能是受試者尚未接受實驗教材故不了解題意,因此,決 定修改題目,以達到測驗高層次認知能力-綜合與評鑑的目標。
(2) 、形成正式成就測驗
經過以上步驟,研究者從預試卷中,選出前測使用的正式測 驗卷,並依題目類型分為,第一類:是非題十題,第二類:選擇 題十題,第三類:排排看二題,第四類:問答題二題,第五類:
畫圖題一題。正式成就測驗卷的信度係數呈現於表 19:
表 1 9 正式學習成就測驗卷信度係數表
測驗類型 題數 人數 KR20 是非題 10 83 0.52 選擇題 10 83 0.75
排排看 2 83 -
問答題 3 83 -