研究信度

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

49

研究者可就前測結果與編碼者的意見，修改編碼表中的類目。為使本研究具備更 好的信度，前測及後續的正式編碼，將選自三位編碼員進行編碼。內容分析的信 度檢測，是尋求編碼員之間達到一致性的程度（王石番，1992）。三位編碼員分 別為研究者及兩位政大公共行政的研究生，且三位編碼者曾擔任蕭乃沂等（2014）

的研究案助理，因此對於示範區的議題具有一定背景的熟悉程度。在正式前測開 始前，研究者先對編碼員進行簡單的訓練，包含熟悉自經區政策背景及議題內容、

研究流程及編碼說明等，以利編碼員對於本研究有一定的認識。在訓練之後，本 研究前測正式開始。

研究者以隨機抽樣的方式抽取正式樣本的十分之一（約 90 筆資料）做為前 測所需，總共進行四次前測。第一次抽取 15 筆資料，皆包含新聞網站、社群網 站、部落格及討論區四類來源，以下數次前測抽樣亦同；第二次抽取 20 筆，與 前次有相同者將給予刪除，並且重新抽樣；第三次抽取 25 筆，與前次有相同者 將給予刪除，並且重新抽樣，以及第四次抽取 30 筆，與前次有相同者將給予刪 除，並且重新抽樣。每次前測前，研究者先將欲前測的樣本，轉成 Excel 檔並且 附上編碼說明文件一併交予編碼員。首次編碼前，研究者須先對編碼員說明研究 的目的、流程及編碼方式，過程中編碼員對於編碼內容有任何不清楚的地方也必 須向研究者求證、加以釐清。前測主要目的在於，透過前測的經驗，確認編碼員 對類目的認知正確、提升編碼員間的一致性以及編碼信度。

二、前測信度檢測及正式編碼

王石番（1991：306-309）曾指出，信度檢測共有三種類型：穩定性(Stability)、

可複製性(Reproducibility)、準確性(Accuracy)。穩定性藉由一編碼員在不同時段 編碼兩次，以檢視分析過程自始至終是否不變；可複製性檢視不同編碼員在不同 環境針對相同資料內容編碼的相似性；準確性則檢視編碼過程是否符合一明確且 客觀的指標。即使初步建構的編碼表與編碼說明可以適用於全部的正式樣本，但 不同編碼員在不同時空下對相同資料內容進行編碼，則需要對其編碼結果進行信 度檢驗，其計算公式如下(王石番，1991：307；羅文輝，1991：206-207)：

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

50

1. 編碼員相互同意度 R = 2𝑀𝑀

𝑁𝑁1 + 𝑁𝑁2

R=穩定度或內在效度

M=兩位編碼員編碼結果次數結果相同的次數 N1=第一位編碼員編碼的次數

N2=第二位編碼員編碼的次數 2. 複合信度

信度= 𝑁𝑁 ∗ 平均相互同意度

1 + [(𝑁𝑁 − 1) ∗ 平均相互同意度]，N = 參與內容分析的人數

四次前測完畢，三位編碼員討論時間約為 10 小時，每次前測完畢會針對三 位編碼員意見不一致的部分進行討論，例如針對立場編碼的項目作更細緻的分類，

並且將共識結果進行編碼文件的修正。本研究的四次前測信度檢驗，如下表 15 所示，分別為 0.83、0.88、0.91 及 0.88，四次皆已達到 0.8 以上的信度檢測要求

（楊孝濚，1992），因此可進入正式編碼階段。

雖然第一次前測已達信度要求，研究者推測原因為三位編碼員曾擔任蕭乃沂 等（2014）助理的關係，對議題及編碼工作並不陌生。為了追求更佳的信度，研 究者仍反覆針對各次前測不一致的部份加以討論，期望提高整體信度及穩定性。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

51

表 15：前測信度檢驗 編碼員

A、B

編碼員

A、C

編碼員

B、C

三位編碼員 平均相互同意度

複合信度 第一次

（15 份）

0.73 0.6 0.53 0.62 0.83 第二次

（20 份）

0.7 0.75 0.7 0.72 0.88 第三次

（25 份）

0.72 0.8 0.8 0.77 0.91 第四次

（30 份）

0.73 0.7 0.67 0.7 0.88

資料來源：本研究自行整理。

‧ 國

立 政 治 大 學

‧

N a tio na

l C h engchi U ni ve rs it y

52