基本描述與題目難易度分析

在文檔中 論開放題與選擇題測量政治知識的適用性 - 政大學術集成 (頁 79-85)

第六章 東吳學生政治知識實驗設計之分析

第一節 基本描述與題目難易度分析

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

70

第六章 東吳學生政治知識實驗設計之分析

從前一章節的分析可以發現,不同政治知識程度的受訪者會因為題型的差異 產生不同的答題行為,將受訪者答題模式分析配合題目難易度的分析更可以看出 當題目難度漸增時,各種知識程度類別比例如何隨之增減。然而因為政大學生問 卷的有效樣本僅有 107 筆,故難以利用此份問卷資料進行迴歸分析,故而本文另 外採用東吳學生問卷,希望能夠藉由此份資料來進行回歸模型檢驗,藉此檢視受 訪者個體層次的答題行為。東吳學生問卷缺乏心理情境題組,無法如同政大學生 問卷作出較為細緻的分類,為此,本文另外採用選項輔助的方式進行受訪者知識 程度之分類。為了檢視選項輔助的分類結果是否能類同於心理題組輔助,故先採 用政大學生問卷資料做試驗,並加以比較不同資訊輔助下的分類結果之差異,同 第五章第四節的分析結果所述,儘管選項輔助無法如果心裡題組輔助來的更為確 定受訪者的答題行為,然而仍然能有效的區分出受訪者的政治知識程度,故能採 用選項輔助的方式來作為分類東吳學生問卷資料的基準。

此章將先呈現受訪者的答題概況,並檢視東吳學生問卷題目的難易度,接著 將配合選項輔助檢視受訪者於相同題目不同題型下的答題差異,分類出受訪者的 政治知識程度,結合題目難易度分析來檢視受訪者的答題模式,最後再利用東吳 問卷提供的基本題的資料,以及樣本較足夠之特性來進行迴歸分析。

第一節 基本描述與題目難易度分析

一 答題基本概況

第一道題目為「請問您:現任的美國總統是誰?」,此題對於大學生來說過 於容易,此道題目於政大學生問卷的測量中不論何種題型皆有高達 100%的答對 率,而東吳大學政治知識問卷的樣本數比起政治大學政治知識問卷要來的多,測

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

71

量對象的科系分布也有較大的不同,但此題以開放題測量時亦有 98.7%的答對率。

此道題目過於簡單,本文亦有考量是否同階段一的做法將此題於後續分析上去除,

然而從表 6-1 也可看出,隨著題型的差異,改由選擇題測量時,此題的答對率攀 升至 99.8%,顯示此題亦有些許變異程度存在,故後續分析將保留此題不予以去 除。

第二道題目為「請問您:現任的行政院長是誰?」,此題採用開放題測量時 的答對率為 58.6%,改而使用選擇題測量時的答對率則有 78.9%,題型轉變後總 共增加了 20.3%的答對率。無反應的比例有較大的變化,於開放題時有 31.9%的 人拒絕回答或是回答不知道,改而採用選擇題測量時,無反應的比例下降至 6.8%。

第三道題目為「請問您:在我國,誰或哪個機關負責解釋憲法?」,此道題 有 77.1%的人於開放題即答對此道題目,改而以選擇題測量時,答對比例上升至 92.7%。答錯的比例則原先有 13.0%,後測時的答錯率則降低為 5.1%。無反應的 比例則是從 9.9%降低至 2.2%。

第四道題目為「請問目前我國的財政部長是哪一位?」,此道題目以開放題 題型測量時僅有 20.2%的答對率,答錯率為 5.3%,無反應的比例則高達 74.4%;

改而以選擇題測量時,答對率提高至 52.2%,答錯率降低至 5.1%,無反應的比 例也有顯著的降低,共有 23.1%的人於選擇題拒絕回答或是回答不知道。

第五道題目為「請問台灣去年(民國一百年)年底的失業率是多少?」,此 道題目不論以何種題型測量皆為所有題目當中答對率最低,答錯率最高的題目,

於開放題測量時僅有 8.6%的答對率,有 20.3%的受訪者答錯,71.1%的人為無反 應;題型轉變之後,答對比例增加至 34.4%,答錯的比例非降反增至 41.2%,無 反應的比例則顯著降低至 24.4%。直觀而言之,由於此道題目較困難,有許多受 訪者於開放題時拒絕回答或是回答不知道,於選擇題時因為選項的因而鼓勵了受

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

72

訪者答題,大部分的受訪者在看到選擇題的選項後根據本身具備地的相關資訊試 著回憶並回答題目,但是從結果上來看,許多受訪者並不是真正具有該題政治知 識,故而此題才會產生從答對率增加、無反應比例下降但是答錯率增加的現象。

第六道題目為「請問目前我國立法院中的第二大黨是哪個政黨?」,此題從 答對率來看亦屬於較為簡單的題目,此道題目於開放題的答對率僅次於第一題,

共有 84.2%的人於開放題答對此道題目,轉而以選擇題回答時則有 91.6%的人答 對;答錯的比例則由 7.3%下降至 2.2%;無反應的比例在兩種題型測量下的結果 相近,以開放題測量時為 8.4%,以選擇題測量時為 6.2%。

第七道題目為「請問現任的聯合國秘書長是誰?」,受訪者在以開放題題型 回答此題時,僅有 11.9%的答對率,於開放題作答的答錯率亦不高,僅有 3.7%,

然而無反應的比例則高達 84.4%。以選擇題測量同樣題目時,受訪者的答對率有 顯著增加,比例攀升至 40.7%,答錯率也有顯著上升,共有 14.7%的人答錯此道 題目,無反應的比例雖然在題型轉變後有顯著下降,但是仍然有高達 44.7%的人 選擇回答不知道或是拒絕回答此題。此道題目不論是以開放題或是選擇題測量,

無反應的比例皆是七道題目當中最多的。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

74

第二題的難易度為適中,此道題目的累積百分比與前三題及後三題有顯著不 同,累積答對百分比同樣於選擇題得分 5 分處超過了 50%,但是沒有前三道題目 皆有 63%以上的累積答對率來的為高,故將其難易度分類為「適中」。而第四題、

第七題與第五題的題目難易度皆屬於「較難」,此三道題目的累積答對率需至選 擇題總分拿到 6 分者才有超過 50%的門檻,而這三題彼此之間的難易度根據於首 次累積答對率超過 50%處的累積百分比來看又可以明顯區分出第四題比第七題 簡單,第五題比第七題難。

表 6-2 東吳學生政治知識問卷選擇題答題總分與個別題目答對之比例分佈

七道選擇題總分數

0 1 2 3 4 5 6 7 人數 1 4 18 42 124 171 142 44

較易

美國總統

(Q1) 0.0% 0.7% 4.0% 11.7% 34.5% 65.9% 91.9% 100.0%

第二大黨

(Q6) 0.0% 0.0% 1.0% 8.8% 30.8% 63.4% 91.2% 100.0%

釋憲機關

(Q3) 0.0% 0.0% 1.8% 8.5% 30.4% 63.6% 91.3% 100.0%

適中 行政院長

(Q2) 0.0% 0.0% 0.2% 0.9% 22.5% 58.0% 89.8% 100.0%

較難

財政部長

(Q4) 0.0% 0.0% 0.0% 1.1% 9.8% 44.9% 84.6% 100.0%

聯合國秘書長

(Q7) 0.0% 0.0% 1.4% 2.7% 8.1% 33.8% 80.2% 100.0%

失業率

(Q5) 0.0% 0.0% 0.0% 1.1% 12.2% 35.1% 76.6% 100.0%

資料來源:東吳大學學生政治知識問卷。

資料說明:由於政大學生問卷的題目較多,並且對於政大學生而言較有區別度,故政大學生問卷 的題目難易度分為四類(簡單、適中、較難、最難)。而東吳學生問卷的題目較少,加上題目的 區辨能力較差,故此處的難易度僅將其分為三類。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

75

三 小結

將題目區分出難易度之後再行回頭檢視表 6-1 則可以發現,最簡單的第一道 題目,於開放題以及選擇題皆有最高的答對率,於開放題時已有 98.7%的答對率,

改由選擇題測量時則高達 99.8%的答對率。第六題與第三題的題目難易度僅次於 第一題,前者於開放題的答對率為第二高,共有 84.2%的受訪者答對;後者於選 擇題的答對率為第二高,共有 92.7%的受訪者答對,如同前文所述,此兩題難以 確切區分出何者對於受訪者而言較困難。

題目難易度屬於「適中」的第二題,不論選擇題或是開放題的答對率皆排列 第四,於開放題作答時的答對率為 58.6%,於選擇題填答時的答對率為 78.9%。

第四題、第七題與第五題同屬於「較難」之分類,第四題的開放題答對率僅有 20.0%,選擇題的答對率為 52.2%,而此題的答錯率在題型轉換之後反而不減反 增,增加了 19.4%。第七題的無反應比例為所有題目當中最高的,開放題的無反 應比例高達了 84.4%,此題改而以選擇題測量後雖然有顯著下降,仍然為所有題 目中最多的,共有 44.7%的無反應比例。第五題在題目難易度分析中屬於所有題 目中最難的,此題的開放題以及選擇題的答對率皆是五道題目當中最低的,前者 的答對率僅有 8.6%;後者的答對率為 34.4%。此題的答錯比例也是所有題目當 中最高的,於開放題測量時的答錯率為 20.3%,以選擇題測量時的答錯率則為 41.2%。

由於東吳大學政治知識問卷的設計亦有將「不知道」選項列於問卷之上,受 訪者自填時可以直接勾選不知道,也有一些受訪者採用未填答的方式來表示拒答,

使得此份問卷的無反應比例遠遠比政治大學政治知識問卷來的高上許多,從表 6-1 以及表 6-2 來看,可以發現隨著題目的難度增加,無反應的比例也隨之增高。

一般而言,以選擇題測量政治知識時常會被質疑選項的提供增加了答對率,

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

76

導致高估了受訪者的政治知識程度,從此觀點來看,答對率增加亦代表著答錯率 會因為題型轉變而有所減少。從表 6-1 來看,雖然受訪者的答對率的確隨著題型 從開放題轉變成選擇題皆有顯著增加,但是在這七道題目當中,第二題、第四題、

第五題與第七題的答錯率卻未因題型改變而有所減少,反而是增加了答錯比例,

除了第二題之外,第四題、第五題與第七題皆同屬於「較難」之類別,顯示較難 的題目反而因為題型的轉變增加了答錯率。從此點而言,僅能說明選擇題鼓勵了 受訪者答題,題型的轉變大幅度的減少了無反應的比例,但是答錯率卻不一定會 因而有所減少。

在文檔中 論開放題與選擇題測量政治知識的適用性 - 政大學術集成 (頁 79-85)