• 沒有找到結果。

單單地理科 試題數有 263 題(占 35%),但 DIF 試題所占比例高達 42.0%(55 題)

N/A
N/A
Protected

Academic year: 2021

Share "單單地理科 試題數有 263 題(占 35%),但 DIF 試題所占比例高達 42.0%(55 題)"

Copied!
27
0
0

加載中.... (立即查看全文)

全文

(1)

第四章 第四章第四章

第四章 研究結果與討論研究結果與討論 研究結果與討論研究結果與討論

本章分為四節,第一節為 90-95 年國中基測社會科試題差異功能之分析結 果,第二節為國中基測地理科 DIF 試題之試題內容分析,第三節為研究者自編地 理測驗試題差異功能分析,第四節為地理科試題文字及圖形屬性影響 DIF 程度分 析。

第一節 第一節第一節

第一節 9090----959090 959595 年國中基年國中基年國中基年國中基本學力本學力本學力本學力測測驗驗社會科社會科社會科社會科試題試題試題差異功能分析試題差異功能分析差異功能分析差異功能分析

一、、MHMHMHMH 法偵測法偵測法偵測法偵測 DIFDIFDIF 結果DIF結果結果結果

90-95年社會科試題總計755題,北、中、南、東四個比較組的群體作答反應,

經two-stage MH法分析後,將考驗達.01顯著水準之DIF試題整理,依據國中基本學 力測驗社會科試題「地理科」、「歷史科」、及「公民科」,其DIF試題如附錄 二,分佈結果如表4-1所示。

表 4-1 90-95 年國中基本學力測驗社會科 DIF 試題分佈摘要表─MH 法 90年 91年 92年 93年 94年 95年 合計

地理科 14 12 6 8 7 8 55(42.0%)

歷史科 7 10 4 9 4 4 38(29.0%)

公民科 11 6 6 8 6 1 38(29.0%)

合計 32 28 16 25 17 13 131

( )數值代表該科 DIF 試題占所有 DIF 試題之比例

由表 4-1 可知,就 MH 法偵測結果來看,90-93 年度的基測社會科出現 DIF 試題題數平均在 20 題以上,但到 94 年及 95 年則平均為 15 題。若將結果分為未 接受九年一貫課程(90-93 年)與接受九年一貫課程(94-95 年)的學生年度來看,

(2)

似乎接受九年一貫課程的學生在測驗表現上較無 DIF 現象存在。此外,除了 93 年度之外,各年度之 DIF 試題均以地理科所占比例最高。然而在就 90-95 年所有 社會科試題共計 755 題,其 DIF 題比例為 17.4%(131 題/755 題)。單單地理科 試題數有 263 題(占 35%),但 DIF 試題所占比例高達 42.0%(55 題)。就 DIF 試題比例而言,地理科出現 DIF 試題的機率高於歷史科及公民科。

經 MH 進行 DIF 偵測後,研究者將社會科試題依照科目及 ETS 採用之 DIF 嚴重程度分類作一整理,以了解地理科、歷史科以及公民科之 DIF 試題比例及程 度。如表 4-2 所示:

表 4-2 各科 DIF 試題比例及程度摘要表─MH 法

A 級題數 B 級題數 C 級題數 合計 地理科 36 16 3 55(42.0%)

歷史科 22 14 2 38(29.0%)

公民科 29 8 1 38(29.0%)

合計 87(66.4%) 38(29.0%) 6(4.6%) 131

( )數值代表該科 DIF 試題占所有 DIF 試題之比例

由表 4-2 可知,就科目而言,以地理科所占的 DIF 試題比例最高,因此本研 究將針對地理科試題進一步做試題內容分析,期望能找出 DIF 試題的共同內容特 徵,以作為將來出題時的參考依據。此外,就 DIF 程度而言,雖然多數試題為 A 級程度,但仍有 33.6%的試題達 B 級以上程度,此現象仍值得注意。

此外,各地區比較之 MH D-DIF 值及偏利程度詳見附錄三。以下對各地區之 比較結果作一整理,藉以了解各地區 DIF 試題偏利情形,如表 4-3 所示:

(3)

表 4-3 各地區 DIF 試題偏利情形摘要表─MH 法

北部地區 中部地區 南部地區 東部地區

北部地區

56 題

(29 利北 27 利中)

33 題

(13 利北 20 利南)

26 題

(19 利北 7 利東)

中部地區

27 題

(15 利中 12 利南)

22 題

(17 利中 5 利東)

南部地區

25 題

(20 利南 5 利東)

東部地區

*(29 利北 27 利中)表示 56 題試題中,有 29 題是偏利北部,27 題則為偏利中部。其他細格以此類 推解釋。

由上表 MH 法之偵測結果可知,「北部與中部」及「中部與南部」相較時,

試題的偏利情況大致平均;北部與南部相比時,則是呈現試題有利南部較多。研 究者進一步分析,以北部地區作為參照組分別與其他地區相比較時,DIF 試題共 有 100 題,偏利北部有 54 題,不利北部有 46 題,其百分比相差不多,亦即在北 部地區所出現之 DIF 試題,並未特別偏利或者不利北部地區。但值得注意的是,

以東部地區作為焦點組分別與其他地區相比較時,DIF 試題共有 50 題,但偏利 東部的試題數很少,僅有 12 題;反觀不利東部的試題數卻有 38 題,而這些不利 東部的試題幾乎都是相同的題目。舉例來說,902-58 題在以東部地區做為焦點組 與其他地區相較時,均發生不利東部地區的現象。亦即在 DIF 試題中,不利於東 部地區的現象是相當一致的;反觀 901-21 題雖然不利北部地區,但僅發生在北 部地區與南部地區相比較時,當北部地區與中部、東部相較時,均無不利北部地 區的現象。

綜合上述結果,可知 90-95 年國中基測社會科之 DIF 試題出現率為 17.4%,

其中以地理科所占比率最高,達 42.0%;歷史科及公民科次之,分別為 29.0%。

(4)

試題的 DIF 程度 66.4%為 A 級 DIF 程度;33.6%達 B 級以上程度,屬較為嚴重的 DIF 現象。此外,東部地區與其他三區進行比較時,不利東部地區的試題多於偏 利東部地區試題。

二、、定題法偵測結果定題法偵測結果定題法偵測結果定題法偵測結果

依據 Mantel-Haenszel 法偵測結果找出各區域兩兩比較之四題 MH D-DIF 值最 小題目做為定錨題,亦即在設計矩陣中的取該四題都限制為等值估計,分別進行 各區域之比較。當兩群組在某試題之能力估計差異大於 0.5 logit 時,則代表該試 題存有 DIF 現象(Wu, Adams, & Wilson, 1998)。依據國中基本學力測驗社會科試 題「地理科」、「歷史科」、及「公民科」,其 DIF 試題如附錄二,分佈結果如 表 4-4 所示。

表 4-4 90-95 年國中基本學力測驗社會科 DIF 試題分佈摘要表─定題法 90年 91年 92年 93年 94年 95年 合計

地理科 2 3 8 4 3 6 26(29.6%)

歷史科 3 5 14 1 4 4 31(35.2%)

公民科 5 2 11 5 2 6 31(35.2%)

合計 10 10 33 10 9 16 88

( )數值代表該科 DIF 試題占所有 DIF 試題之比例

由表 4-4 可知,就定題法偵測結果來看,以 92 年 DIF 試題較多,其餘各年 度約為 10 題左右。為何 92 年度試題出現如此高比例的 DIF 試題,則是值得進一 步研究。然而在就 90-95 年所有社會科試題共計 755 題,地理科試題有 263 題(占 35%),DIF 試題所占比例為 29.6%(26 題)。就 DIF 試題比例而言,地理科出現 DIF 試題的機率低於歷史科及公民科。

定題法偵測結果之各地區 DIF 試題偏利情形詳見附錄四。以下對各地區之比 較結果作一整理,藉以了解各地區 DIF 試題偏利情形,如表 4-5 所示:

(5)

表 4-5 各地區 DIF 試題偏利情形摘要表─定題法

北部地區 中部地區 南部地區 東部地區

北部地區

4 題

(2 利北 2 利中)

4 題

(2 利北 2 利南)

62 題

(46 利北 16 利東)

中部地區

2 題

(1 利中 1 利南)

35 題

(24 利中 11 利東)

南部地區

38 題

(22 利南 16 利東)

東部地區

*(2 利北 27 中)表示 4 題試題中,有 2 題是偏利北部,2 題則為偏利中部。其他細格以此類推解釋。

由上表定題法之偵測結果可知,「北部與中部」、「北部與南部」及「中部與 南部」相較時,試題的偏利情況大致平均,且 DIF 試題數並不多。但東部地區做 為比較群體之一時,可發現 DIF 試題明顯較多,且大多不利於東部地區,其中以 北部地區及東部地區相比較時最為明顯。研究者進一步分析,以東部地區作為焦 點組分別與其他地區相比較時,DIF 試題共有 82 題,但偏利東部的試題僅有 27 題,不利東部的試題數卻有 55 題。但值得注意的是,其中 92 年第二次不利東部 的試題就占了 25 題之外,扣掉這 25 題,偏利東部與不利東部的試題數相差不多。

整合定題法與 MH 法之 DIF 偵測結果,90-95 年國中基本學力測驗社會科 DIF 試題共有 29 題偵測結果一致,亦即 MH 法在北部及東部地區相較時偵測出 DIF 現象,而定題法亦有偵測出北部及東部相差 0.5 logit 以上。細看其中試題,29 題 中有 26 題類屬於 MH 法偵測出來之 B 級以上試題,只有 3 題為 A 級試題,由此 可發現 MH 法共偵測出 44 題 B 級以上試題,而定題法亦偵測出其中的 26 題,其 比例約在六成左右。

由此可知,定題法與 MH 法之 DIF 偵測結果並不完全一致,尤其是 MH 法發

(6)

現地理科試題之 DIF 比例為最高,但定題法卻有截然不同的結果;此外,定題法 所偵測到的 DIF 總題數僅 88 題,較 MH 法的 131 題少了 43 題。但可發現的是,

兩種方法共同偵測到的 DIF 試題乃屬於 DIF 現象較為嚴重的 B 級以上 DIF 試題 居多,但使用 MH 法偵測出為 A 級之 DIF 試題,則於定題法時較少被偵測出,

這乃是因為 MH 法所使用的為相對比較之方法,MH 法將大部份的題目假定為沒 有 DIF,接著再與這些題目做相對比較而找出比較有可能有 DIF 的試題;而定題 法使用的為絕對比較之方法,定題法是先由專家(或其它程序)來認定部份純淨 無 DIF 的試題,以此作為一基準點,接著再利用這些無 DIF 的試題去評估其它題 目是否有 DIF。正因為方法上的不同,因此偵測結果也不完全相同。

第二節 第二節第二節

第二節 國中基 國中基國中基國中基本學力本學力本學力本學力測測驗驗地理科之地理科之地理科之地理科之 DIFDIFDIF 試題內容分析DIF試題內容分析試題內容分析 試題內容分析

國中基本學力測驗社會科地理科試題是評量學生完成三年國中教育後在地 理教育的學習成果,故其試題內容亦應依據台灣地理教育評量架構而來。依第二 章文獻探討部份所討論,將試題區分為「試題知識向度」「試題題幹敘述形式」

及「試題文字及圖片屬性」等三部份進行試題內容分析。

一、、試題知識向度試題知識向度試題知識向度試題知識向度

依據潘宜均(2006)將知識向度區分的四個分向度,可分為「地理技能」「空 間分析」「區域特色」及「環境地理」,研究者將國中基測地理科 DIF 試題之主 要測驗概念將試題進行歸類,各試題之分類細項如附錄一,分佈結果如表 4-6 所 示。

(7)

表 4-6 90-95 國中基本學力測驗地理科 DIF 試題「知識向度」試題分佈摘要表 地理技能 空間分析 區域特色 環境地理 合計

MH 法

3

(5.5%)

18

(32.7%)

34

(61.8%)

0

(0%)

55 地理科 DIF

試題數

定題法

2

(7.7%)

8

(30.8%)

15

(57.7%)

1

(3.8%)

26

地理科總試 題數

32

(12.2%)

67

(25.5%)

155

(58.9%)

9

(3.4%)

263

MH 法 9.4% 26.9% 21.9% 0%

地理科 DIF 試題數/地 理科總試題

定題法 6.3% 11.9% 9.7% 11.1%

( )內數值為橫向比例

由表 4-6 中可知,依據 MH 法偵測結果,國中基本學力測驗社會科地理試題 共有 55 題 DIF 試題,其中類屬於「區域特色」此一向度的比例最高,其次以「空 間分析」位居第二,位居第三則是「地理技能」,而定題法之偵測結果亦如此。

但此一結果並不意外,以 90-95 年所有試題來看,亦是以區域特色此一向度所佔 比例最高,空間分析次之,第三為地理技能,環境地理最少。

以上均是單就 DIF 試題來看,如果由全部試題而言,計算各知識向度中 DIF 試題所占的比例,MH 法偵測結果,卻發現「空間分析」的 67 題試題中有 19 題 為 DIF 試題,所占百分比為 26.9%居冠,反而是「區域特色」所占 21.9%次之。

但細看各試題之分類細項(附錄一),可發現其中有的 902-63、931-33、951-46 及 952-20 等四題試題雖類屬「空間分析」,但試題內容仍牽涉「區域特色」概念,

故「區域特色」試題之 DIF 現象仍不容忽視。至於定題法之偵測結果亦指出「空 間分析」的比例最高,「區或特色」居次。

以下就「地理技能」、「空間分析」「區域特色」及「環境地理」等四個向度

(8)

分別討論。

(一一))地理技能地理技能地理技能地理技能((SSSS)

地理技能分為「座標、網格、方位系統判讀」、「地圖判讀」及「地理資料 的展示」等三個分向度。類屬地理技能向度的DIF試題比例並不高,或許因為地 理技能屬於共通技能,較不會因為生活區城與生活經驗不同而學習到不同的地理 技能,因此在這部份僅有3題DIF試題。

綜合MH法及定題法所偵測出的試題來看,由這三試題試可發現,所有試題 均涉及地理資料展示這個分向度,亦即三道試題均包含圖表。其中兩種檢定方法 均偵測出為DIF試題為942-55、952-57,這兩道題目均與生活經驗相結合。其中,

942-55是判斷遊樂圖的方位、952-57是以在山林中迷路等待救援作為題幹,均與 生活時事相結合。因此,當地理技能概念又結合生活經驗作為題幹描述時,可能 提高其DIF發生機率。

(二二))空間分析空間分析空間分析空間分析((GGGG)

空間分析可區分為「自然環境」及「人文環境」等二個分向度。

先就MH法偵測結果來看,類屬於空間分析向度的DIF試題比例有32.7%,共 計18題。以下將類屬空間分析的DIF試題再細分出屬於自然環境向度及人文環境 向度,經統計後,屬於自然環境有10題,人文環境有8題。分類細項詳見附錄一。

自然環境又可細分為地形、氣候、水文、土壤、植物等,其中 901-3、901-51、

902-63、912-1、931-33 屬於氣候類型,共計 5 題,比例最高。地形亦有 3 題,水 文 2 題。而人文環境亦可細分為經濟活動、人口、聚落、交通等,上述試題中經 濟活動有 3 題,人口及交通各 2 題,聚落 1 題。

由 MH 法偵測結果,可知隸屬空間分析向度的 DIF 試題以自然環境向度存在 DIF 現象的比例較高,其中又以「氣候」概念的試題比例最高。而人文環境向度 則是以「經濟活動」概念試題 DIF 比例較高。

就定題法偵測結果來看,8 題 DIF 試題中有 7 題屬於「人文環境」向度,且 經濟活動、人口各 3 題,交通 1 題。至於「自然環境」向度試題則屬於氣侯類型。

(9)

此一結果與 MH 法之偵測結果不同。但就 MH 法與定題法共同偵測到的 922-20、

932-5、932-34 及 952-20 等四題來看,其中的 3 題均為 MH 法偵測 B 級 DIF 以上 之試題,且均為「人文環境」向度。

(三三))區域特色區域特色區域特色區域特色((RRRR)

區域特色可區分為「台灣地區」、「中國大陸」、「世界地理」等三個分向 度。類屬於區域特色向度的DIF試題有33題,以下將類屬區域特色的DIF試題再細 分出各試題所隸屬的分向度,分類細項詳見附錄一。

統計MH法偵測結果,「台灣地區」有18題,「中國大陸」有10題,「世界 地理」有6題。亦即在類屬「區域特色」的34題DIF試中,以屬於「台灣地區」的 DIF試題最多,占52.9%。結合試題題幹敘述方式分析,發現屬於「台灣地區」

之DIF試題中的901-21、901-31、911-2、911-3、931-5、932-35、941-2、942-1、942-17、

951-59、952-32等11題均結合生活情境作為題幹敘寫方式。

定題法之偵測結果指出,「台灣地區」有9題,「中國大陸」有2題,「世界 地理」有4題。亦即在類屬「區域特色」的15題DIF試中,以屬於「台灣地區」的 DIF試題最多,占60.0%。結合題幹敘寫方式,其中結合生活情境作為題幹敘寫 的有911-2、911-3、932-35、951-59及952-32等五題,再細看試題內容敘寫,除了 901-4之外等八道試題,均涉及單一區域、地點或生活經驗,例如金門、台北、

曾文溪、綠島、安平、屏東及演唱會、喜宴菜色等。

由此可知,測驗區域特色概念時,試題若為台灣地區並結合生活情境作為題 幹敘述,其 DIF 比例較高。其可能的原因,或許是因為居住地區不同,當試題以 台灣某地區為主要測驗概念時,對於部份地區學生而言,他們對於試題中提到的 區域本來就較為陌生,如再加上試題結合生活情境,便非常容易形成 DIF 現象。

正因為國中基測地理科試題的 DIF 現象以「區域特色」向度之試題數最多,

其中又以「台灣地區」向度試題數最多。因此本研究所改編之地理科測驗試題採 以「認識臺灣:地理篇」作為改編依據,經研究者整理透過 MH 法及定題法偵測 出的地理科 66 題 DIF 試題中,有 39 題屬於「認識臺灣:地理篇」範圍。茲將屬

(10)

於「認識臺灣:地理篇」範圍之地理科 DIF 試題列出如下:90 年第一次的 3、4、

21、31、37、51 題;90 年第二次的 1、5、63 題;91 年第一次的 2、3、16、49 題;91 年第二次的 1、4、16、17 題;92 年第一次的 50 題;92 年第二次的 17、

20、34、61 題;93 年第一次的第 5 題;93 年第二次的 5、35 題;94 年第一次的 2、44、48 題;94 年第二次的 1、4、17、50、55 題;95 年第一次的 46、59 題;

95 年第二次的 2、20、32、57 題。

(四四))環境地理環境地理環境地理環境地理((EEEE)

環境地理之試題於 90-95 年國中基本學力測驗社會科地理試題僅有 9 題,比 例最低,但由於近年來環境地理試題有逐漸增加的趨勢,故其 DIF 現象亦值得重 視。在 MH 法偵測中並未發現 DIF 現象存在,但於定題法偵測中,發現 941-48 題為 DIF 試題,且一致偏利東部。由於該試題內容在於了解學生對於漁業資源枯 竭之看法,並配合圖片讓學生回答,或許是因為東部學生對於漁業生態較為熟 悉,與其生活較為相近,因為出現一致偏利東部地區之情況,但確切之原因仍有 待進一步研究。

二、、試題題幹敘述形式試題題幹敘述形式試題題幹敘述形式試題題幹敘述形式

國中基本學力測驗社會科試題,就選擇題題幹敘述的形式,可區分為簡述 式、情境式、圖表式及結合情境與圖表式(簡稱情圖式)等四種方式。地理科 DIF 試題之分類細項如附錄一,分佈結果如表 4-7 所示。

(11)

表 4-7 90-95 國中基本學力測驗地理科 DIF 試題題幹敘述形式分佈摘要 簡述式 情境式 圖表式 情圖式 合計

MH 法

13

(23.6%)

14

(25.5%)

17

(30.9%)

11

(20.0%)

55 地理科 DIF

試題數

定題法

6

(23.1%)

6

(23.1%)

6

(23.1%)

8

(30.7%)

26

地理科總試 題數

64

(24.3%)

58

(22.1%)

90

(34.2%)

51

(19.4%)

263

MH 法 20.3% 24.1% 18.9% 21.6%

地理科 DIF 試題數/地 理科總試題

定題法 9.4% 10.3% 6.7% 15.7%

( )內數值為橫向比例

就 MH 法偵測結果討論,單就地理科 DIF 試題來看,地理科 DIF 試題題幹敘 述形式以「情圖式」所占的百分比最少,而以圖表式所占比例居冠,情境式次之;

但定題法之結果卻恰恰相反,反而是「情圖式」所占的 DIF 題比例最高。

綜合 MH 法及定題法之結果來看,假若結合圖表式及情圖式,可發現 DIF 試題中有 50%以上(MH 法 28 題、定題法 14 題)的試題均含有圖表,比例之高 值得重視,再者圖表又可依內容區分為地圖式或者非地圖式,圖表屬性是否會影 響學生作答亦值得研究。此外,結合生活情境的情境式及情圖式來看,亦有約 50.0%左右(MH 法 25 題、定題法 14 題)的試題題幹敘述結合生活情境之描述,

亦即 DIF 試題中亦有將近半數的試題是結合生活情境作為題幹描述。

另一方面,就全部試題而言,計算各類型試題題幹敘述形式中 DIF 試題所占 的比例,MH 法偵測發現地理科試題題幹敘述形式為「情境式」的 58 題試題中,

即有 14 題為 DIF 試題,所占百分比為 24.1%居冠,「情圖式」所占 21.6%次之,

但四種分類方式之差異不大。定題法之偵測結果與 MH 法略有不同,其結果是以

(12)

「情圖式」居冠,「情境式」居次,四種分類方式差異亦不大。但可發現的是兩 種方法偵測出的 DIF 試題均以結合生活情境的試題占較高比例,這或許是因為這 些結合實際生活經驗的試題有些會因為學生居住地區不同、生活經驗不同,使學 生有不同之概念因而影響作答。但這四種分類方式似乎仍不足以解釋為何有 DIF 現象,故需要重新對試題屬性進行分類,也因此研究者對於文字及圖片屬性將做 更進一步討論。

三、、試題文字及圖片屬性試題文字及圖片屬性試題文字及圖片屬性試題文字及圖片屬性再分類再分類再分類再分類

首先依據 90-95 年國中基測 DIF 檢測之結果,進一步分析地理科 DIF 題試題 題幹敘述形後,歸納試題屬性並將所有試題進行分類。每一試題同時具有兩個屬 性:一為文字屬性,一為圖片屬性。其分類方式如下:

1. 文字屬性:區分為「特定文字」及「一般文字」兩類。「特定文字」指 文字內容所涉及的特定地點、區域、物品、場所、活動或生活經驗,可 能因為考生所在台灣不同區域而有不同認知、不同熟悉度,進而影響考 生答題結果。其餘文字敘述則歸類為「一般文字」。例題參見第三章 p.48 處。

2. 圖片屬性:分為「正式圖表類」及「非正式圖表類」兩類。「正式圖表 類」指試題中圖表包括位置及座標系統、地圖要素、統計圖表判讀、地 面圖及航照圖等四類的內容,其餘包含漫畫、說明用插圖、文宣廣告、

旅遊照片、素描、網頁照片等內容之試題則歸類為「非正式圖表類」 例題參見第三章 p.49 處。

結合地理科 DIF 試題之文字、圖片屬性之分佈結果來看,分類細項詳見附錄 一,分佈結果如表 4-8 所示。

(13)

表 4-8 90-95 國中基本學力測驗地理科 DIF 試題文字及圖片屬性分佈摘要 DIF 試題 總題數 DIF 試題/總題數 無圖 17 106 16.0%

正式圖表類 16 95 16.8%

非正式圖表類 4 27 14.8%

一般 文字

合計 37 228 16.2%

無圖 10 16 62.5%

正式圖表類 6 10 60.0%

非正式圖表類 2 9 22.2%

MH 法

特定 文字

合計 18 35 51.4%

無圖 8 106 7.5%

正式圖表類 6 95 6.3%

非正式圖表類 4 27 14.8%

一般 文字

合計 18 228 7.9%

無圖 4 16 25.0%

正式圖表類 4 10 40.0%

非正式圖表類 0 9 0%

定題法

特定 文字

合計 8 35 22.9%

表 4-8 可發現,試題之文字屬性有八成(228 題)為「一般文字」。就圖片屬 性來看,整體而言,有 75%左右(105 題)的試題屬於「正式圖表類」。如果就 整體來看,地理科試題中的 35 題文字屬性為「特定文字」中,MH 法偵測出 18 題為 DIF 試題,整體比例為 51.4%,亦即每兩題「特定文字」屬性試題,即有一 題為 DIF 試題,而定題法偵測出 8 題(22.9%),其比例亦高於「一般文字」之 DIF 比例。

此外,兩種偵測方法均發現,在「無圖」及「正式圖表類」時,特定文字之

(14)

DIF 比例均高於一般文字。至於「正式圖表類」或「非正式圖表類」影響 DIF 的 情況,在「一般文字」屬性時差異不大,但在「特定文字」的情況下,「正式圖 表類」之 DIF 試題比例卻高於「非正式圖表類」

詳看 MH 法偵測出之 DIF 試題的文字屬性為「特定文字」的 18 題試題文字 內容,與生活經驗相關聯的試題內容有安排旅行、聽演唱會、喜宴菜色、保險費 用、量販店購物等內容,其餘試題則是均提到特定地區,如北部、西部、鹽田、

曾文溪、安平、綠島、花蓮、宜蘭、屏東等地區。雖然偏利方向並沒有一致性,

但值得注意的是,911-3、931-5、932-35 等試題提到的特定地區及生活經驗均屬 於東部地區學生較為熟悉的,這些試題也明顯偏利東部地區。此外,951-59、952-32 兩題提到的安平及屏東均屬於南部地區,試題亦明顯偏利南部地區,且達 B 級以 上 DIF 程度。

而定題法偵測出之 DIF 試題的文字屬性為「特定文字」的 8 題試題文字內容,

亦與 MH 法之試題內容相似,此 8 題試題有與生活經驗相關聯的試題及提到特定 地區。此外值得注意的是,這 8 題試題均屬於「區域特色」中「台灣地區」試題,

是否因為生活經驗及特定地區為部份學生所較為熟悉因而造成 DIF 現象,仍有待 研究者進一步探討。

綜合上述分析討論,可得到以下幾個結論:

1. 就試題知識向度來看,以「空間分析」及「區域特色」兩個向度之 DIF 試題 比例最高。其中區域特色則以「台灣地區」之 DIF 比例最高。

2. 就試題題幹敘述形式來看,「情境式」及「情圖式」之 DIF 試題比例略高於其 他題幹敘述形式,但整體差異不大,似乎不足以解釋 DIF 現象之產生。

3. 「文字屬性」對於 DIF 現象之解釋程度較明顯。無論結合圖片與否,「特定文 字」之 DIF 比例高於「一般文字」

4. 就「特定文字」之文字屬性來看,如欲測試單一地區或地點之某些地理概念 時,如「綠島」、「安平」「屏東」等地區特色時,此時偏利該地區的情形較

(15)

為明顯。

5. 就試題圖片屬性來看,結合「一般文字」下,「正式圖表類」與「非正式圖表 類」之 DIF 現象差異不大。在「特定文字」的情況下,「正式圖表類」之 DIF 試題比例高於「非正式圖表類」

第三節 第三節 第三節

第三節 研究者自編地理研究者自編地理研究者自編地理測驗研究者自編地理測驗測驗測驗試題試題試題試題差異功能分析差異功能分析差異功能分析差異功能分析

研究者自編地理測驗試題之測驗信度 Cronbach's α係數為 .82。以下就改編 理科測驗的「DIF 偵測結果」「試題知識向度」「試題題幹敘述形式」及「試題 文字及圖片屬性」等三部份試題內容,其分類細項如附錄五,以下將分佈結果分 別進行討論。

一、、DIFDIFDIFDIF 偵測結果偵測結果偵測結果偵測結果

(一一))MHMHMHMH 法偵測結果法偵測結果法偵測結果法偵測結果

研究者自編地理測驗試題總計 40 題,城市、鄉村兩個比較組以及北、中、

南、東四個比較組的群體作答反應,經 two-stage MH 法分析後,僅將考驗達.01 顯著水準之 DIF 試題,各地區比較之 MH D-DIF 值及偏利情形詳見附錄六,分佈 結果如表 4-9 所示。

(16)

表 4-9 研究者自編地理測驗 DIF 試題摘要表─MH 法

城─鄉 北─中 北─南 北─東 中─南 中─東 南─東

有利 參照組

7, 9 20

12, 23, 37

1, 2, 23, 24、31, 32,

40

20 40

6, 9, 24 B 級

題號

有利 焦點組

4, 30 11, 39 23 16

有利 參照組

32 12

C 級

題號 有利 焦點組

9 4 4 4

合計 5 1 4 10 3 3 4

「城─鄉」表示,城市學生為參照組,鄉村學生為焦點組。

A 表示輕度 DIF;B 表示中度 DIF;C 表示重度 DIF。

由表 4-9 可知,MH 法偵測出 18 題 DIF 試題,其中 14 題為 B 級程度 DIF 現 象,4 題為 C 級程度 DIF 現象,沒有試題為 A 級程度 DIF。由各分區來看,以北 部及東部進行比較時,最多試題存有 DIF 現象,有 10 題之多,占 DIF 試題總比 例達 55.6%。

至於偏利情形,可發現北部地區作為參照組時,有利北部地區的試題有 10 題,不利的試題有 4 題,亦即有 55.6%的試題是偏利北部地區的。若以東部地區 為焦點組時,不利東部地區的試題有 9 題,偏利的試題有 4 題,即有 50.0%的試 題是不利東部地區的。在城市及鄉村比較中,雖然只有 5 題為 DIF 題,其中有 3 題是偏利城市地區,尤其國中基本學力測驗之資料來源無法進行城市、鄉村比 較,故無法得知其 DIF 偵測結果,但於研究二中所發現之城鄉 DIF 現象仍值得進 一步研究。

綜合上述,MH 法偵測結果共有 18 題(45.0%)DIF 試題,以 B 級程度 DIF

(17)

現象最多,以北部及東部學生作答存在最多 DIF 現象。此外,有 55.6%的試題偏 利北部地區,50.0%的試題不利東部地區。

(二二))定題法偵測結果定題法偵測結果定題法偵測結果定題法偵測結果

各地區比較之定題法偵測結果可參見附錄七。定題法偵測出 19 題 DIF 試題,

其中 16 題之偵測結果是與 MH 法之結果相同。由各分區來看,亦為以北部及東 部進行比較時,最多試題存有 DIF 現象,有 11 題之多,占 DIF 試題之比例達 57.9

%。

至於偏利情形,可發現北部地區作為參照組時,有利北部地區的試題有 7 題,不利的試題有 6 題,其偏利情形較為平均,該結果與 MH 法之結果相似。若 以東部地區為焦點組時,不利東部地區的試題有 11 題,偏利的試題有 5 題,即 在所有 DIF 試中,有 57.9%的試題是不利東部地區的。在城市及鄉村比較中,只 有 2 題為 DIF 題,其中 1 題是偏利城市地區,另一題偏利鄉村地區。由於國中基 本學力測驗之資料來源無法進行城市、鄉村比較,故無法得知其 DIF 偵測結果,

但研究二中可以探究城鄉 DIF 現象。

綜合上述,定題法偵測結果共 19 題有 DIF(佔所有試題 47.5%),以北部及 東部學生作答時存在最多 DIF 現象。此外,DIF 試題中有 57.9%的 DIF 試題是屬 於不利東部地區的。

二、、試題知識向度試題知識向度試題知識向度試題知識向度

依據潘宜均(2006)將知識向度區分的四個分向度,可分為「地理技能」「空 間分析」「區域特色」及「環境地理」,將研究者自編地理測驗試題之主要測驗 概念將試題進行歸類,各試題之分類細項如附錄五,分佈結果如表 4-10 所示。

(18)

表 4-10 研究者自編地理測驗「知識向度」試題分佈摘要表 地理技能

(S)

空間分析

(G)

區域特色

(R)

環境地理

(E)

合計

MH 法 4 5 9 0 18 DIF 試題數

定題法 5 5 9 0 19

總試題數 13 12 15 0 40

MH 法 30.8% 41.7% 60.0% 0%

DIF 試題數

/總試題數 定題法 38.5% 41.7% 60.0% 0%

由表 4-10 中可知,自編地理科測驗的 40 題試題中,除了環境地理完全沒有 試題外,其餘三個向度之試題題數相差不多,但 DIF 試題比例卻有明顯不同,無 論是 MH 法或者定題法偵測結果均指出,研究者自編地理測驗之 DIF 試題比例以

「區域特色」居冠。此結果與國中基本學力測驗之結果略有不同,國中基本學力 測驗社會科地理 DIF 試題以「空間分析」居冠,「區域特色」次之,研究者自編 地理測驗之結果正好相反。

可能之原因,是因為研究者自編地理測驗之「區域特色」向度所選用的試題 均屬於「臺灣地區」分向度,在國中基本學力測驗之 DIF 檢測時即發現「臺灣地 區」之試題又為區域特色向度中 DIF 比例最高,故導致研究二之「區域特色」

DIF 比例最高。正因為研究中發現「臺灣地區」之 DIF 現象最為嚴重,故本研究 將以臺灣地區及非臺灣地區試題作為其中一個預測之自變項。

三、、試題文字及圖片屬性試題文字及圖片屬性試題文字及圖片屬性試題文字及圖片屬性

由於在分析國中基本學力測驗社會科地理試題時即發現,試題之文字及圖片 屬性對於 DIF 現象之解釋程度大於「題幹敘述形式」,故研究二僅就研究者自編 地理測驗之文字、圖片屬性之分佈結果來看,各試題之分類細項如附錄五,分佈 結果如表 4-11 所示。

(19)

表 4-11 研究者自編地理測驗 DIF 試題文字及圖片屬性分佈摘要─MH 法 DIF 試題 總題數 DIF 試題/總題數

無圖 1 5 20.0%

正式圖表類 1 12 8.3%

非正式圖表類 2 4 50.0%

一般 文字

合計 4 21 19.0%

無圖 4 6 66.7%

正式圖表類 4 6 66.7%

非正式圖表類 6 7 85.7%

MH 法

特定 文字

合計 14 19 73.7%

無圖 1 5 20.0%

正式圖表類 3 12 25.0%

非正式圖表類 2 4 50.0%

一般 文字

合計 6 21 28.6%

無圖 4 6 66.7%

正式圖表類 3 6 50.0%

非正式圖表類 6 7 85.7%

定題法

特定 文字

合計 13 19 68.4%

研究者自編地理測驗之試題文字屬性部份,「一般文字」(21 題)及「特定 文字」(19 題)所占比例差異不大,但明顯發現其 DIF 比例卻有所不同。MH 法 偵測結果指出,當試題文字屬性為「特定文字」時,其 DIF 比例高達 73.7%(14 題)。定題法之偵測結果亦有類似之發現(13 題,68.4%)研究者自編地理測驗 之結果與國中基本學力測驗之 DIF 偵測結果相較,「特定文字」影響 DIF 之現象 更為明顯。

就圖片屬性來看,MH 法偵測結果指出,「非正式圖表類」之 DIF 比例達 72.7

(20)

%(8 題/11 題),高於「正式圖表類」(5 題/18 題)之 DIF 試題比例。定題法 亦發現「非正式圖表類」(8 題/11 題)之 DIF 比例高於「正式圖表類」(6 題/

18 題)。此一結果與國中基本學力測驗之偵測結果不大一致,研究者懷疑乃是因 為研究者自編地理測驗中的「非正式圖表類」多結合「特定文字」之試題比例較 多。但仍值得注意的是,不論是在一般文字或特定文字的情況下,「非正式圖表 類」之 DIF 比例均高於「正式圖表類」,但因為題數不多,值得再進一步探討圖 片屬性之影響程度。

由於上述討論中發現,文字及圖片屬性可能影響 DIF 之現象,因此在進行後 續迴歸預測時,研究者將採用「文字屬性」及「圖片屬性」作為其中二個預測之 自變項。

第四節 第四節第四節

第四節 地理科試題文字 地理科試題文字地理科試題文字地理科試題文字及圖片及圖片及圖片及圖片屬性影響屬性影響屬性影響屬性影響 DIFDIFDIFDIF 程度分析程度分析程度分析 程度分析

若迴歸問題中的依變數是類別變數,其結果非成功即失敗,或非有即無,此 類問題不適用於一般的常態線性迴歸模式,其採用之方法為羅吉斯迴歸(Logistic Regression)。此方法所探討的依變數分類為二元資料時,稱為二元羅吉斯迴歸,

所謂的二元資料是指其結果只有兩種可能(如 0 與 1、是或否、有或無、成功或 失敗等)。因本研究的依變數是二元資料(有 DIF 或無 DIF),所以採用二元羅吉 斯迴歸來作為統計分析模式。

在此部分,本研究欲探討文字屬性、圖片屬性及涉及台灣地區區域特色是否 對 DIF 造成影響。其中迴歸預測可由兩方面來看,第一部份是以「城鄉 DIF 現象」

為依變項,檢視文字屬性、圖片屬性及區城特色是否對於城鄉 DIF 現象具有預測 效果。第二部份是以「地區 DIF 現象」為依變項,當某試題於任何一地區存有 DIF 現象時,即判定該試題為 DIF 試題,再檢視文字屬性、圖片屬性及區城特色 是否對於地區 DIF 現象具有預測效果。

文字屬性及涉及台灣地區區域特色與否為兩個類別,其中文字屬性分為「一

(21)

般文字」及「特定文字」,區域特色分為「台灣地區」及「非台灣地區」。至於圖 片屬性則為三個類別,故需建立二組虛擬變數來代表類型的歸屬性質,其虛擬變 數的數目為類別數減 1。本研究變定之虛擬變數乃以組別中的第一類當作參照 值。就 two-stage MH 法偵測研究者自編地理測驗 DIF 試題結果進行分析,其羅吉 斯迴歸分析結果如表 4-12 所示:

表 4-12 以 MH 法偵測研究者自編地理測驗 DIF 試題結果進行羅吉斯迴歸分析表 被預測

變項

預測變項

羅吉斯迴歸 係數β

標準誤 S.E.

顯著性 P.

文字屬性(W) 1.17 1.38 .397 圖片屬性 1(P1) 8.31 46.00 .857 圖片屬性 2(P2) 10.27 45.99 .823 區域特色(R) 2.29 1.33 .084 常數 -12.88 42.02 .780 城鄉 DIF 現

R =.281 2

文字屬性(W) 2.38 .85 .005**

圖片屬性 1(P1) -.72 1.02 .481 圖片屬性 2(P2) .82 1.06 .440 區域特色(R) .25 .87 .774 常數 -1.75 1.02 .086 區域 DIF 現

R =.324 2

*P<.05 ** P<.01

為了解「城鄉 DIF 現象」及「區域 DIF 現象」之重要影響因素,乃針對所有 試題,將「文字屬性」「圖片屬性」及「區域特色」投入迴歸模型進行分析。由 表 4-12 羅吉斯迴歸分析結果可知,僅有「文字屬性」在「區域 DIF 現象」上達.01 顯著水準,即該因素較能有效預測區域 DIF 現象。由迴歸係數來看,「文字屬性」

(22)

β =2.38,P<.01)對於「區域 DIF 現象」的影響力為正向影響,亦即屬於文字 屬性中的「特定文字」越多,涉入「區域 DIF 現象」之情況較多。值得注意的是

「城鄉 DIF 現象」為依變項時,預測變項為「圖片屬性」時,其標準誤很大,其 可能原因為透過 MH 法所偵測出具有城鄉 DIF 現象試題數不多,僅有 5 題,其中 又有 3 題類屬於「非正式圖表類」,因此其誤差值較大。

由於「圖片屬性」及「區域特色」變項的迴歸係數檢定均沒有達到顯著,為 了簡化模式將這兩個變項拿掉,僅「文字屬性」對「區域 DIF 現象」的預測力

β =2.564,P<.001),其預測正確率為 77.5%(χ2=13.618,P<.001),解釋力 R =.276,而此羅吉斯迴歸模式為 2

( )

( ) 1.75 2.564(文字屬性)

log = +



DIF p

DIF

p

此公式表示,若某一試題的文字屬性為特殊文字時,其有區域 DIF 之機率

p 有( DIF))約為沒有 DIF 機率(p 無( DIF))之 13(= e(1.75+2.564))倍。

就定題法偵測研究者自編地理測驗 DIF 試題結果進行分析,其羅吉斯迴歸分 析結果如表 4-13 所示:

(23)

表 4-13 以定題法偵測研究者自編地理測驗 DIF 試題結果進行羅吉斯迴歸分析表 被預測

變項

預測變項

羅吉斯迴歸 係數β

標準誤 S.E.

顯著性 P.

文字屬性(W) 10.56 195.91 .957 圖片屬性 1(P1) 1.67 391.91 .997 圖片屬性 2(P2) 13.17 322.98 .967 區域特色(R) 11.68 198.15 .953 常數 -35.40 426.56 .934 城鄉 DIF 現

R2=.228

文字屬性(W) 1.46 .74 .050*

圖片屬性 1(P1) -.70 .90 .934 圖片屬性 2(P2) 1.29 1.01 .200 區域特色(R) .44 .78 .573 常數 -1.30 .91 .151 區域 DIF 現

R2=.213

*P<.05

由表 4-13 之羅吉斯迴歸分析結果可知,僅有「文字屬性」在「區域 DIF 現 象」上達.05 顯著水準,即該因素較能有效預測區域 DIF 現象。由迴歸係數來看,

「文字屬性」β=1.46,P<.05)對於「區域 DIF 現象」的影響力為正向影響,

亦即屬於文字屬性中的「特定文字」越多,涉入「區域 DIF 現象」之情況較多。

值得注意的是「城鄉 DIF 現象」為依變項時,各預測變項之標準誤均很大,其可 能原因為透過定題法所偵測出具有城鄉 DIF 現象試題數不多,僅有 2 題,因此其 誤差值較大。

由於「圖片屬性」及「區域特色」變項的迴歸係數檢定均沒有達到顯著,為 了簡化模式將這兩個變項拿掉,僅「文字屬性」對「區域 DIF 現象」的預測力

(24)

β =1.689,P<.05),其預測正確率為 70.0%(χ2=6.485,P<.05),解釋力 R2=.151,而此羅吉斯迴歸模式為

( )

( ) 0.916 1.689(文字屬性)

log = +



DIF p

DIF

p

此公式表示,若某一試題的文字屬性為特殊文字時,其有區域 DIF 之機率

p 有( DIF))約為沒有 DIF 機率(p 無( DIF))之 5.42(= e(0.916+1.689))倍。

綜上所述,可知透過 MH 法及定題法之偵測結果進行羅吉斯迴歸分析,均指 出「文字屬性」較能有效預測「區域 DIF 現象」,且迴歸係數指出文字屬性中的

「特定文字」越多,涉入「區域 DIF 現象」之情況較多。

第五節 第五節 第五節

第五節 地理科試題地理科試題地理科試題「地理科試題「特定文字特定文字特定文字特定文字」」分析分析分析分析

透過羅吉斯迴歸分析發現「特定文字」對於「區域 DIF 現象」之影響情況較 多,因此進一步舉例說明「特定文字」之特徵。

「特定文字」指文字內容所涉及的特定地點、區域、物品、場所、活動或生 活經驗,可能因為考生所在台灣不同區域而有不同認知、不同熟悉度,進而影響 考生答題結果。

涉及「特定地點」的試題如第 9 題:

阿蛋 阿蛋 阿蛋

阿蛋在旅行途在旅行途在旅行途在旅行途,,寄了一封寄了一封寄了一封 eeee----mail寄了一封 mailmailmail 給給大鼎大鼎大鼎大鼎,,附上附上附上附上當地著名當地著名當地著名當地著名的鹽的鹽的鹽的鹽 田照片田照片

田照片田照片,,如如右右圖所示圖所示圖所示圖所示。。請問請問請問請問::他可能是到下列何地旅遊他可能是到下列何地旅遊他可能是到下列何地旅遊他可能是到下列何地旅遊? (A)

(A) (A)

(A)宜蘭宜蘭宜蘭宜蘭 (B)(B)(B)(B)南投南投南投南投 (C)(C)(C)(C)台南台南台南 台南 (D) (D)(D)屏東(D)屏東屏東 屏東

該試題所提到的「鹽田」就屬於特定地點,一旦學生居住的地區為南部地區,

只要一看到「鹽田」便可直接作答,無須思考其他答案。正因如此,在兩種方法 之 DIF 偵測結果均顯示該試題對於「北部」及「東部」學生不利,相對於偏利南 部地區學生。因此,在出題時應避免提到單一地區或者特有物品,因而偏利該區

數據

表 4-3  各地區 DIF 試題偏利情形摘要表─MH 法  北部地區  中部地區  南部地區  東部地區  北部地區  ─  56 題  (29 利北 27 利中)  33 題  (13 利北 20 利南)  26 題  (19 利北 7 利東)  中部地區  ─  ─  27 題  (15 利中 12 利南)  22 題  (17 利中 5 利東)  南部地區  ─  ─  ─  25 題  (20 利南 5 利東)  東部地區  ─  ─  ─  ─  *(29 利北 27 利中)表示 56 題試題中
表 4-5  各地區 DIF 試題偏利情形摘要表─定題法  北部地區  中部地區  南部地區  東部地區  北部地區  ─  4 題  (2 利北 2 利中)  4 題  (2 利北 2 利南)  62 題  (46 利北 16 利東)  中部地區  ─  ─  2 題  (1 利中 1 利南)  35 題  (24 利中 11 利東)  南部地區  ─  ─  ─  38 題  (22 利南 16 利東)  東部地區  ─  ─  ─  ─  *(2 利北 27 中)表示 4 題試題中,有 2 題是偏利北
表 4-6  90-95 國中基本學力測驗地理科 DIF 試題「知識向度」試題分佈摘要表  地理技能  空間分析  區域特色  環境地理  合計  MH 法  3  (5.5%) 18  (32.7%) 34  (61.8%) 0  (0%)  55  地理科 DIF 試題數  定題法  2  (7.7%) 8  (30.8%) 15  (57.7%) 1  (3.8%) 26  地理科總試 題數  32  (12.2%) 67  (25.5%) 155  (58.9%) 9  (3.4%)  263  M
表 4-7  90-95 國中基本學力測驗地理科 DIF 試題題幹敘述形式分佈摘要  簡述式  情境式  圖表式  情圖式  合計  MH 法  13  (23.6%) 14  (25.5%) 17  (30.9%) 11  (20.0%)  55  地理科 DIF 試題數  定題法  6  (23.1%) 6  (23.1%) 6  (23.1%) 8  (30.7%) 26  地理科總試 題數  64  (24.3%) 58  (22.1%) 90  (34.2%) 51  (19.4%)  263
+6

參考文獻

相關文件

目的 培養理性、智慧之人 培養具有基本能力之人 教學方法 古代典籍 基本學科(博雅教育) 重視教師教學能力 基礎學科(學科知識).

第二十四條 學、術科測 試辦理單位應遴聘具有 下列資格之一者,擔任 學科測試及術科測試採 筆試非測驗題方式之監 場人員:. 一、

104 年臺中市政府教育局所屬學校護理人員甄選,綜合護理 學科題本,題本採雙面印刷,共 100 題,測驗時間 90

104 年臺中市政府教育局所屬學校護理人員甄選,緊急救護 學科題本,題本採雙面印刷,共 100 題,測驗時間 90

八、 應檢人參加技術士技能檢定學科或術科採筆試非測驗題職類,測試使用計算器,除

將基本學力測驗的各科量尺分數加總的分數即為該考生在該次基測的總 分。國民中學學生基本學力測驗自民國九十年至九十五年止基測的總分為 300 分,國文科滿分為 60

國家科學委員會(2001)委託於南部科學園區內進行之現地振動衰減試驗,以人工振

109 年度臺中市政府所屬機關及學校護理人員聯合甄選,緊 急救護科題本,題本採雙面印刷,共 100 題,測驗時間 90