研究設計及研究方法

在文檔中 論開放題與選擇題測量政治知識的適用性 - 政大學術集成 (頁 47-59)

第四章 研究問題與理論架構

第四節 研究設計及研究方法

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

38

第四節 研究設計及研究方法

根據研究目的所需,本文的研究方法主要分成三個階段,由於政大學生問卷 所提供的訊息較為豐富,故第一階段為利用政大學生問卷進行主要分析,藉由分 析受訪者在不同題型下的答題差異,以及受訪者自答其答題時的心理狀態的資訊 輔助,將受訪者區分成「完全知道答案」、「知道答案但無法完整回答」、「知道某 些答案是錯誤的」、「認知的答案是錯誤的」與「完全不知道答案」。第二階段則 是為了能夠與東吳學生問卷做連結,將政大學生問卷心理情境題組所提供的資訊 去除,僅用受訪者在不同題型下的回應模式差異,再輔以受訪者於選擇題所選擇 的選項來判斷受訪者的政治知識程度,將受訪者以廣義的方式做出分類,並且將 分類後的結果與階段一的分析做前後對照,假若缺乏心理情境題組所提供的資訊 後,仍然能得出差不多的結果,則說明本文的基本理論架構為正確的,此時再進 行階段三,以東吳學生問卷為主,將受訪者類同階段二的分類方式進行分類,最 後再將分類結果作個體層次的迴歸分析。

一 階段一

以表 4-1 作為依據,並以受訪者的不同答題行為來反推受訪者的政治知識程 度。亦即從政大學生問卷的 A 卷(開放題)與 B 卷(選擇題)的比較,來檢視 受訪者面對相同題目不同題型的答題行為差異,並且輔以受訪者於 B 卷自答其 在答題過程中是否有猜題行為來推論出受訪者答題時是屬於「完全知道答案」、

「知道答案但無法完整回答」、「知道某些答案是錯誤的」、「認知的答案是錯誤的」

與「完全不知道答案」這五種知識程度類別。

政大學生問卷心理情境題組的 a 小題詢問受訪者是否自認為猜題,b 小題詢 問受訪者有多高的信心自己選擇的答項是正確的,前者屬於受訪者主觀認定自己 是否有猜題行為,後者則為客觀認定,本文採取嚴格的客觀認定方式,將 100%

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

39

信心以下的回答皆視為猜題,以此資訊做為區分受訪者行為狀態的輔助,總共可 以區分出主要的五種類型,以及另外不具分析價值的「誤差」與「盲猜」兩類,

如表 4-8 所示。

表 4-8 政大學生問卷調查的回應模式

開放題 選擇題 受訪者的知識程度類別

答對 答對 完全知道答案

答錯或無反應 答對且不是猜的 知道答案但無法完整回答 答錯或無反應 二選一猜對

知道某些答案是錯誤的 二選一猜錯

答錯 答錯且不是猜的

認知的答案是錯誤的 無反應

無反應 二選一皆是錯誤的答案

無反應 無反應 完全不知道答案

答對 答錯或無反應 無法認定

(誤差)

答錯或無反應 答對或答錯

(心理情境題組未答)

無法認定

(盲猜)

資料來源:本文作者自行整理。

表 4-8 所列的五個類型當中,前四個類型的排序代表的亦是受訪者的知識程 度排序,第五類的知識程度與第四類相同,最後兩類的誤差與盲猜則無法定義其 知識程度。首先,若受訪者在開放題以及選擇題皆答對的情形下,則將其歸類於

「完全知道答案」。第二、若是受訪者在開放題時答錯或無反應,但在選擇題答 對且客觀認定上非猜題,則將其歸類為「知道答案但無法完整回答」。第三、因 受訪者無法確定答案,而是用刪去法的方式答題,故此類受訪者在開放題時答錯 或是拒絕回答,在選擇題的答題情形又可進而分為猜對與猜錯。前者為受訪者在 選擇題時答對,但客觀認定上是具有猜題行為;後者則是受訪者在選擇題時答錯,

但受訪者於心理情境題組 d 小題所提供的另一個可能的答案是正確的則將其歸 類為「知道某些答案是錯誤的」。第四、受訪者在開放題時答錯,並且在非猜題 情形下答錯選擇題則代表受訪者所具備的資訊是完全錯誤的,因此將其歸類為

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

40

「認知的答案是錯誤的」,另一種情形為受訪者答錯開放題,但是選擇題拒絕回 答,則視同答錯選擇題,同樣歸於此類。此外,若受訪者在開放題不回應,選擇 題是藉由猜題方式回答,但是提供的兩個答案皆為錯誤的,則代表受訪者儘管是 運用刪去法來猜題,然而因其所認知的答案是錯誤的,因此也是從錯誤的答案來 做猜測,故亦將其歸類為「認知的答案是錯誤的」。第五、受訪者在開放題與選 擇題皆選擇不回應,則將此類受訪者當作是不理解題意,或是對該題一無所知的

「完全不知道答案」。第六、受訪者在開放題答對,於選擇題答錯或無反應,則 將此種答題行為歸類於「誤差」。第七、若受訪者於開放題答錯或無反應,選擇 題答對或是答錯,然而卻不回答心理情境題組,既不透露是否為猜題或是不提供 另外可能的答案,表示受訪者可能只是隨意答題,從選擇題中的選項隨機挑一個 作答,此類型受訪者則將其歸類於「盲猜」。雖然實際訪問時難以避免「誤差」

與「盲猜」的情形發生,但是此兩種狀態不僅難以判斷受訪者的行為模式,也無 法定義其政治知識程度,故後續的分析將不列入此兩種行為狀態。

二 階段二

由於本文希望能夠進一步修正黃秀端、徐永明與林瓊珠(2014)所提出的受 訪者答題模型,然而三位研究者所採用的資料(東吳學生問卷)與階段一所採用 的資料(政大學生問卷)有所出入,欠缺了受訪者自填心理狀態的題組,因而本 文階段一所做的歸類並無法適用於東吳學生問卷資料。為了證明本文的分類方式 能夠通用,能夠與黃秀端、徐永明與林瓊珠等人的文章做連結,故本文將階段一 的分類方式稍作變化為能夠適用於東吳學生問卷資料的分類方式,並再應用於東 吳學生問卷資料前,先以政大學生問卷資料做試驗,並比較更改分類方式前後之 分類結果是否有明顯差異,若無明顯差異則可進一步進行階段三。

詳細作法為利用政大學生問卷資料,對受訪者的政治知識程度做分類時,去 除受訪者答題心理情境題組的資訊輔助(簡稱心理題組輔助),改而藉由受訪者

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

41

於選擇題所選擇的選項作為資訊輔助(簡稱選項輔助),以此來為受訪者的答題 行為做分類,先以狹義方式分類為「完全知道答案」、「知道答案但無法完整回答」、

「知道某些答案是錯誤的」、「認知的答案是錯誤的」與「完全不知道答案」。

運用不同的資訊來作為分類上的輔助,在分類上必然會有所差異,以選項輔 助相比於以心理題組輔助,前者的分類方式無法如同後者來的細緻。為了減低因 資訊不足所導致的研究限制,故進一步利用心理題組輔助的分類結果與選項輔助 的分類結果皆以廣義的方式重新歸類為「知道的」、「猜對的」、「猜錯的」、「錯誤 的」與「完全不知道」(如表 4-9 所示),藉此降低比較上的差異。爾後,再將利 用心理題組輔助所分類出的「知道的」、「猜對的」、「猜錯的」、「錯誤的」與「不 知道」個別相比於利用選項輔助所分類出的「知道的」、「猜對的」、「猜錯的」、「錯 誤的」與「完全不知道」,藉由比較的方式來檢視利用不同的資訊輔助來為受訪 者的答題行為分類後,每一題的分類結果是否會有高估或低估受訪者政治知識程 度的情形。

表 4-9 以受訪者所選擇的選項作為資訊輔助的歸類方式

開放題 選擇題 原始歸類 重新歸類

(廣義)

答對 答對 完全知道答案

無反應 答對 知道答案但無法完整回答 知道的

答錯 答對 知道某些答案是錯誤的 猜對的

答錯或無反應 答錯

但與正解相近 知道某些答案是錯誤的 猜錯的 答錯或無反應 答錯

且與正解差異大 認知的答案是錯誤的 錯誤的

無反應 無反應 完全不知道答案 完全不知道

資料說明:開放題答對且選擇題答錯或無反應的「誤差」類不具分析價值故不列入表中。

資料來源:政治大學學生政治知識問卷。

「知道的」:在重新分類上,開放題與選擇題皆答對者,屬於「完全知道答 案」的受訪者;「知道答案但無法完整回答」的類型則是藉由在開放題拒絕回答

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

42

但是選擇題答對者來認定,而此兩類受訪者皆屬於根據知識背景答題的受訪者,

故將其歸類為「知道的」。儘管「知道答案但無法完整回答」類型的受訪者包含 了在開放題回答不完全而答錯,在選擇題因選項提供而能完整回憶並答對者,但 因為缺乏了受訪者自填是否百分百確定自己的答案,若將此種情況納入則可能會 無法區分出「猜對的」與「知道的」之中的差別,故僅能排除此種可能的受訪者,

以更嚴格的方式歸類,避免過多臆測導致高估受訪者的知識程度。

「猜對的」:受訪者在開放題答錯,選擇題答對者,歸類於「猜對的」。本文 認為,若受訪者在開放題答錯,代表對於該題題目是有意願回答,卻因知識不足 而無法答對,但其在選擇題時能成功藉由選項排除最不可能的答案,並從剩下的 選項擇一答題,而在這一過程中即包含了猜題的行為,然而此類受訪者可能涵蓋 了部分知識程度略高一些的類型(知道答案但無法完整回答)。

「猜錯的」與「錯誤的」:在開放題答錯或是無反應,選擇題答錯但與正解 相近者歸類為「猜錯的」;在開放題答錯或是無反應,選擇題答錯但與正解差異 大者歸類為「錯誤的」。表 4-10 即列出本文對於與正解相近或差異大的認定。

在文檔中 論開放題與選擇題測量政治知識的適用性 - 政大學術集成 (頁 47-59)