試題編號 認知歷程向度
知識向度 1.記憶 2.了解 3.應用 4.高層次思考
題目 數(題) A.事實
知識
(1).(2).(21) (16).(26) (30).(40) (4).(7).(8).(35) 11 B.概念
知識
(15).(23) (3).(6).(18).(27) (9).(31).(38) (17).(36) 11
C.程序 知識
(20).(24) (19).(28) (12).(32).(34) (10).(37) 9 D.後設認
知知識
(25) (11).(22).(29) (5).(33) (13).(14).(39) 9 題目數
(題)
8 11 10 11 40
*( )中數字表題號
44
黃光雄(1982)提到運用 Bloom 認知分類來分類試題時,分析者必須知道或 假定測驗前歷經的學習情境,且能正確解題,並著重解題時所應用的心智歷程。。
為確保試題符合測驗目的,經專家審題後,編擬出「消化與循環系統成就測驗」,
進行三個班級的預試。將回收試題後,參考簡茂發(1993)、余民寧(2002)的 試題分析步驟及原理進行難度、鑑別度試題分析,茲介紹如下:
一、難度指標(item difficulty index)
試題的難度與測驗的效率,良好的測驗其難度必定適當。有關每個試題的難 易程度可藉由答對百分比法(number correct ratio)的方式得到。此法為計算全體 受試者中,答對或通過每道試題的人數佔總人數的百分比,其計算公式為:
45
的人數,形成高分組(PiH);測驗總分最低分者向上取 25%~30%(或 27%)的人 數,形成低分組(PiL)。
P 值(即難度指標)越大或越高代表越多受試者答對,該試題越容易;P 值 越小或越低代表越少受試者答對,該試題越困難。P 值越接近 0.5 時,代表題目 難易適中。本研究中消化與循環系統成就測驗部分為四選一的選擇題,依陳英豪 和吳裕益(1991)的觀點,若為四選一的選擇題,試題難度約 0.63,表試題難度 中間偏易,可達到最好的鑑別度,故本研究預試試題難度指標,參考 Chase(1978)
所建議的選擇題難度指標挑選標準,預訂挑選難度指標介於 0.4~0.8 之間的試題。
二、鑑別度指標(item discrimination index)
試題區辨受試者高分組與低分組的程度,即為鑑別度,能力佳的學生答對,
而能力較差的學生答錯,試題有分辨的功能或作用,稱為試題鑑別度。本研究採 內部一致性的分析法,高分組與低分組答對率之差,公式如下:
iL iH
i
P P
D
i=1,2,...,n其中,Di代表第 i 個試題的鑑別度指標,PiH 和 PIl代表高、低分組在第 i 個 試題上答對人數百分比,指標範圍介於-1~+1 之間,數值越大鑑別度越高,美國 測驗學家 Ebel 與 Frisbie(1991)提出一套鑑定標準(引自於余民寧,1992),如 下表 3-3:
46
表 3-3
鑑別度評鑑標準
鑑別度指標 試題評鑑結果
.40 以上 非常優良
.30~.39 優良,但可能需要修改 .20~.29 尚可,但需要局部修改 .19 以下 劣,須修改或刪除題目
資料來源:余民寧(1992)。成就測驗的編製原理。台北市:心理出版社。
本研究中消化與循環系統成就測驗部分依余民寧(1992)觀點,本研究預試 試題鑑別度指標預訂挑選大於.30 以上試題,再進行試題的修改。經試題分析後 參考郭生玉(2001)的選題建議「優先挑選鑑別度指標高的試題,然後再從中挑 選難度指標較適中的試題」,再搭配選項誘答力分析過後經修飾,最終編擬出「試 題類別與答題自信心問卷」中「消化與循環系統成就測驗正式版」試題部分。
三、試題類別示例
1.示例一(試題編號 21)
人體內進行消化兼吸收養分的主要器官為何?
(A)小腸 (B)大腸 (C)胃 (D)口腔 答案:(A)
試題類別:認知歷程向度-記憶;知識向度-事實知識
上述試題屬記憶向度,次類別中的回憶,表示當提示(問題)出現,從長期記 憶中提取相關知識;而事實知識向度的次類別則屬於術語的知識,即特定語文與 非語文的標題與符號。
47
2.試題類別示例二(試題編號 32)
下列為食物消化過程中的情形:(甲)絨毛吸收養分;(乙)分解澱粉;(丙)分解 脂質;(丁)食物呈酸性;(戊)通過咽。它們的排列順序應為:
(A)甲→乙→丙→丁→戊 (B)乙→戊→丁→丙→甲 (C)丙→丁→戊→乙→甲 (D)乙→戊→丙→丁→甲 答案:(B)
試題類別:認知歷程向度-應用;知識向度-程序知識
上述試題屬應用向度,次類別中的實施,表示當碰到一個不熟悉的任務,學 生需要了解問題,需要從所學過的程序中選擇一組來直接採用或修改後採用;而 程序知識向度的次類別則屬特定學科的技能和演算知識。
3.試題類別示例三(試題編號 14)
比較小腸絨毛模式圖中甲、乙二血管,如附圖,下列敘述 何者正確?(血管旁的箭頭表示血管內的血流方向)
(A)血液中葡萄糖等養分含量,甲血管<乙血管 (B)血液中氧濃度,甲血管<乙血管
(C)血液中二氧化碳濃度,乙血管<甲血管
(D)甲血管內血液流入心臟,乙血管內血液流出心臟 答案:(A)
試題類別:認知歷程向度-高層次思考;知識向度-後設認知知識
上述試題屬高層次思考向度之「分析」認知歷程向度,次類別中的辨別,表 示當試題牽涉從一個完整結構中,根據關聯性與重要性,區辨出局部或部分來;
而後設認知知識向度的次類別則屬認知任務知識,表學生了解可以運用後設認知 的知識,意即「何時」與「為何」能適當運用策略的知識。
48
四、預試結果分析
本成就測驗預試試題共 40 題,其中皆包含不同試題類別之題目,以研究者 任教學校,七年級隨機抽取三個班級,116 名學生進行預試,有效試卷共 116 份,
進行試題分析,參見附錄三。
(一)難易度分析
「消化與循環系統成就測驗」預試結果,其試題難度如表 3-4 所示。可知 40 題預試試題難度指標介於.42~.79 之間,與預試前參考 Chase(1978)所建議的選 擇題難度指標訂定標準,試題難度指標介於.40~.80 之間的試題相符合。且整分測 驗平均難度.64,也與陳英豪和吳裕益(1991)的所提四選一的選擇題,試題難度 約.63 相符合。因此,試題全部予以保留,做為正式「消化與循環系統成就測驗」
試題。
(二)鑑別度分析
一份優良試題,依照測驗學家 Ebel 與 Frisbie(1991)所提出的鑑定標準,鑑 別度指數宜越高越好,鑑別度指數達.30 以上者,即為優良試題。由表 3-3 可得知 預試試題鑑別度介於.35~.77 之間,與預試前訂定鑑別度指數.30 以上相符合,且 整份測驗平均鑑別度達.58,符合優良試題標準。因此,試題全部予以保留,做為 正式「消化與循環系統成就測驗」試題。
(三)信度考驗
本研究採內部一致性考驗(internal consistency reliability),求本成就測驗 KR20 係數,以了解試題一致性,預試測驗 KR20 為 .93。
49