研究工具發展

本節主要在說明本研究所使用的工具「五年級自然領域星象觀察單元試題類別與答題信 心調查測驗」此份研究工具的編擬過程，該測驗的實施是以紙筆評量的方式為主，其發展過 程如下：

壹、試題編選

本研究工具，除了參考教育部在該單元中所公佈的九年一貫自然領域課程綱要及能力指 標之外，在試題來源的選擇上，則是以各教科書出版商（N 版、K 版、H 版）所附的題庫光 碟為主。從最近兩學年的各家題庫光碟中，預先抽選出適當的試題，再視其題意、用字或架 構稍予修正後，予以篩選編成。而為了讓試卷能有較高的信度，同時也避免在評分上，易受 評分者主觀的影響，在題型挑選上則以能客觀計分的選擇題題型為主。

貳、試題類別分類

在本研究中，為了避免分類出來的試題類別種類過於複雜，並進一步提高試題分類上的 效率，參考了國內學者葉玉珠（2002）及蘇美菁（2006）的研究，將原 2001 年的 Bloom 認

- 34 -

知歷程分類修訂版中的「分析」、「評鑑」、「創造」等三項類別，整併成「高層次思考」

一類。

另外，在後設認知知識該類選擇題型的試題來源稀少，數量不足的前提之下，針對該類 試題的分類及研究，便暫時不將之列入考慮中，相關的研究討論亦同。而經整併完的雙向細 目表，在認知歷程向度上可分為記憶、瞭解、應用及高層次思考等四種不同的認知層次；而 在知識向度上，則可分為事實、概念、程序等三種不同的知識類別。簡化之後的雙向細目表，

共可區分出 12 項子類(如表 1-1 所示，詳見 P.6)。

依據此表（見表 1-1），將抽選出的試題大略均分成此 12 項類別，並盡量讓每項子類上的 試題最少都要能有 4 題以上，挑選完的預試試題預定在 48 題左右，初步分類後的結果如表 3-2 所示。

表 3-2

初選試題的試題類別題數統計及題號對照表

參、內容效度的建立

為了研究工具的完整性，在試卷編製的過程中，委請 9 位任教國小自然科的資深教師及 2 位科學教育專家教授，審核所初選的 48 題試題，以進行內容效度的檢定。其中，自然科資 深教師指的是教學總年資超過 10 年，而在自然科的教學年資累計亦達 6 年以上的教師，另外，

2 位委請審題的科學教育專家教授中，其中一位亦為天文物理方面專長的教育專家。

知識向度

認知歷程向度

1.記憶 2.瞭解 3.應用 4.高層次思考 題數 題號 題數 題號 題數 題號 題數 題號 合計

A.事實知識 4 01~04 4 13~16 4 25~28 4 37~40 16 B.概念知識 4 05~08 4 17~20 4 29~32 4 41~44 16 C.程序知識 4 09~12 4 21~24 4 33~36 4 45~48 16

題數總計 12 12 12 12 48

- 35 -

在審核表中，每一題初選的試題分為兩個向度的審核，一個是知識類別的審核，另一個 則是認知層次的審核，而評分方式則是參考 Waltz, Strickland 與 Lenz (1991) 的 4 點計分法來 計分。審核表中的非常合適，表示不需做修正，將之列為 4 分；合適表示需小部分修正，將 之列為 3 分；不合適表示需修正，將之列為 2 分；非常不合適表示該題與研究概念不符合，

需刪除，將之列為 1 分。另外，若專家在試題修改意見一欄中，勾選刪除此一選項，則直接 將之列為 0 分。初選試題審核表的範例，則如表 3-3 所示。

經上述 11 位專家審核之後，我們將收集後的結果及修正建議統計於意見審核彙整表中(詳 見附錄一)。而本研究是以學者 Lynn (1986）所提的內容效度指標(content validity index; CVI) 做為專家效度指標，並將知識及認知兩個向度分開處理。刪題及計算方式簡述如下：

一、審題後的刪題方式：

在回收的 11 份審核表中，先各自加總每題在認知向度及知識向度的實際總分，

再各自除以該題滿分分數，若分數小於 0.75，則予以刪除或修正，若大於 0.75 者，

則予以保留。換言之，考慮到每一題皆有認知歷程及知識兩個向度，該題要兩個向 度的平均分數皆達 3 分以上，才予以選題，若僅有一個向度達標準，且另一個向度 分數也有達到 2.5 分以上，則修正題目後選題，其餘則直接刪題。

二、各試題的 CVI 計算方式：

在保留的試題中，分別計算各題中不同向度裡圈選 3 分與 4 分的總人次，再除 以全部專家的人數，即為該題在該向度中的 CVI 指數。接著，再判斷刪題後，整份 試卷在不同向度中的 CVI 平均數，是否達 0.8 的標準，若沒有則需再刪題或修正。

針對這些專家審題後的初選試題，經審題篩選修正後，總計刪除 3 題，保留 45 題，而刪 題後的試題在知識向度的 CVI 值平均為 0.94，在認知歷程向度的 CVI 值平均則為 0.84，皆達 0.8 的標準，顯見本試卷的內容效度值得採用。最後再綜合專家的修改意見，針對部分題目的 試題類別、內容或用詞予以調整或修改後，形成預試用的 45 題試題(詳見附錄二)，並進行下 一階段的預試篩選。

- 36 -

表 3-3

預試試題審題修改建議範例

題號 試題內容 試題修改意見

13

13.( )為什麼在白天不容易看到星星，到了晚上才看得到呢？

①星星移動到很遠的地方②太陽把星星遮住了③太陽光比星星的 強④星星白天不發光。

答案：③

□保留□刪除

□修改建議:

知識向度 認知歷程向度

事實知識 □非常合適□合適

□不合適 □非常不合適 瞭解層次 □非常合適□合適

□不合適 □非常不合適 不同意則建議改為：

□事實知識 □概念知識□程序知識

不同意則建議改為：

□記憶層次□瞭解層次□應用層次□高層次思考

肆、預試進行

預試時以研究者所任教的學校五年級學童為主，自然課本採用的版本為 N 版，施測時學 生約在兩週前已學過相關的單元。施測的班級共三個班，合計 92 人，因預試的試題題目較多，

施測的時間盡量控制在 40 至 50 分鐘之間，最多不超過 50 分鐘為原則。本次預試所回收的有 效樣本數為 84 份，回收率達九成以上。

伍、預試試題篩選及修正

預試施測之後，將所收集的有效樣本資料，依答對的成績高低來排序，各依前後 27%的 比例區分為高分組（以 PH 表示）及低分組（以 PL 表示）兩組，總計 PH 有 23 人，PL 則有 22 人。

區分出 PH 及 PL 兩組之後，再分別計算各題在 PH 及 PL 兩組中，答對的人數在該組中 所佔的百分率為多少(以小數表示)，接著再依下列不同的鑑別度、難易度及信度等條件，逐 題篩選，並刪除掉不符標準的試題。

- 37 -

依據測驗學家 Ebel 與 Frisbie(1991)所提的建議，鑑別度雖越高越好，但鑑別度達 0.3 以 上，則已屬於優良試題範圍，因此我們挑選鑑別度 0.3 以上的試題。另外，在難易度方面，

根據學者 Chase(1978)所建議的選擇題難度訂定標準，難度介於 0.4～0.8 之間，最為恰當。綜 合以所上述，刪題的原則如下列條件所示：（黃國清，2004）

一、挑選鑑別度（以 D 表示，D = PH – PL）大於 0.3 以上的題目。

二、挑選難易度（以 P 表示，P =（PH + PL）/ 2 ）介於 0.4～0.8 之間的題目。

三、內在信度方面，由於試題的計分是以答對或答錯的二分變數為主，因此以庫李信度 Kuder-Richardson 20 reliability( KR-20 )的值為主，並保留信度達 0.8 以上的題目。

經篩選後符合上述鑑別度、難易度及信度三者篩選條件的題目共有 30 題（詳見附錄三）。

在刪除的 15 題中，大部分都是因鑑別度不足而被刪題，剩餘的則是難度未符合在標準值之內。

其中，鑑別度過低(未達 0.3 者)共有 10 題，過難的題目(難易度小於 0.4 者)共有 9 題，過於簡 單的題目(難易度大於 0.8 者)共有 2 題；而以試題的認知層次來看，記憶類的刪除 5 題，瞭解 類的刪除 3 題，應用類的刪除 3 題，高層次思考類的刪除 4 題；而從試題的知識種類來看，

事實知識類的刪除 5 題，概念知識類的刪除 5 題，程序知識類的刪除 5 題。本研究預試施測 的試題其 KR-20 值為.869，可見其內部一致性的信度顯著。

而考量到下列兩個因素，一者，為了使信心量表的選項解說及整個施測時間能控制在一 節課 40 分鐘內，避免過多題目造成學生在答題上的時間壓力，進而影響學生答題自信心。再 者，為了考量每一項子類在統計上比例的均等，在每一項子類的試題數量上，皆要求相同。

因此，我們再次調整這些已經過預試篩選的 30 題試題。

調整方式如下，在整併後的 Bloom 知識向度及認知歷程向度雙向細目表中，我們依據鑑 別度的高低(以鑑別度高者為優先考量)，在這 12 項子類的每一項子類中，僅保留 2 題較具代 表性的題目。而從這 30 題已篩選過的預試試題裡，在每一項子類的試題數量，皆要求相同的 條件下，我們最後篩選出 24 題預試試題，並依此編擬成施測時的正試試卷(篩選的題號對照 表詳見附錄四的表 4)。從試題的初選開始，經過專家審題篩選、預試篩選，以及最後的篩選

- 38 -

調整，題數也由原先的 48 題，調整成最後的 24 題，試題的篩選演變及題號調整的簡易歷程 表，則詳見附錄四所示。

最後，我們將這 24 題篩選過後的預試試題，整理彙編成正式的「五年級自然領域星象觀 察單元試題類別與答題信心調查測驗」（詳見附錄五）。在這份編擬完成的調查測驗中每一種 知識類別的題數皆為 8 題，而每一種認知層次的題數也皆相同為 6 題，題數統計及題號對照，

則如表 3-4 所示。而在正式施測之後，試題答題表現方面的 KR-20 值為.822，而答題自信方 面的 cronbach’s α 值為.939，可見其內部一致性的信度顯著。

表 3-4

正式施測的題數統計及題號對照表

*此題號為正式試卷中的題號

另外，在「五年級自然領域星象觀察單元試題類別與答題信心調查測驗」的 24 題試題中，

若配合星象觀察單元的內容(詳見 P.4 的研究範圍)，來進行學習概念上的分類，則這三大類的 學習概念，每一類的題數也平均分配，皆為 8 題，表示這份試題並未有偏向某一類學習概念 的傾向。學習概念及題號的對照表，則如表 3-5 所示。而在表 3-5 中，我們也發現不論是在 認知層次或知識類別中，有幾個類別的題數是 0 題，並非所有的試題類別都有分配到此三類

若配合星象觀察單元的內容(詳見 P.4 的研究範圍)，來進行學習概念上的分類，則這三大類的 學習概念，每一類的題數也平均分配，皆為 8 題，表示這份試題並未有偏向某一類學習概念 的傾向。學習概念及題號的對照表，則如表 3-5 所示。而在表 3-5 中，我們也發現不論是在 認知層次或知識類別中，有幾個類別的題數是 0 題，並非所有的試題類別都有分配到此三類