• 沒有找到結果。

第三章 內容分析在傳播研究應用與發展

第三節 編碼發展流程

一、編碼發展七步驟

本研究融合內容分析文獻,認為編碼發展可分成七步驟:蒐集編碼類目文獻→預覽 研究文本→發展編碼類目→定義編碼類目→前測編碼類目→修訂編碼類目→編碼員間 信度檢測→正式編碼。步驟說明如下。

(一)蒐集編碼類目文獻:研究者在發展編碼類目前,需先檢閱、參考相關研究主 題文獻。研究者在這過程中蒐集、增訂編碼類目;研究文本不同,其媒介內容呈現方式 會有所差異,研究者需避免研究編碼類目的誤用。以總統大選電視競選廣告研究為例,

即可檢閱Kaid(2001)美國總統大選電視競選廣告影像風格研究中的編碼類目。

(二)預覽研究文本:為達到編碼類目的互斥與完備性,建議研究者在建構編碼類

24 

目前,先預覽研究文本,以檢視所蒐集的編碼類目是否能有效呈現研究文本內容。兩者 若有所落差,研究者則需再蒐集、修改、或增訂編碼類目。如:預覽台灣第十二任總統、

副總統電視競選廣告。

(三)發展編碼類目:研究者可參考既有的編碼文獻、理論或現象發展編碼類目(羅 文輝, 1997)。文獻大多檢閱相關研究主題的編碼架構或研究結果訂定編碼類目,確保編 碼類目的有效性,也因為參照相關研究主題緣故,研究者可進行跨時性比較,例如:黃 懿慧(2001),「90 年代台灣公共關係研究之探討─版圖發展、變化與趨勢」研究。透過理 論發展編碼類目,其研究架構多包含研究假設、問題,所引用的理論假設、自變項與應 變項等常成為研究者編碼類目軸心,例如:徐美苓(1999),「愛滋病報導的議題與消息來 源設定」研究。若為現象研究,研究主題的發展多數是研究者對社會現象的關注或問題 意識的形成,研究者可透過研究文本內容屬性,製訂編碼類目,例如:徐美苓、丁志音 (2004),「小病微恙的真實再現─以『感冒』的新聞論述為例」。

此外為避免人工手寫填答的筆誤,研究者應盡可能發展完善、互斥的編碼類目,建 議多採勾選方式。

(四)定義編碼類目:研究者需對編碼類目下定義,以避免編碼者或其他研究者因 個人主觀經驗對編碼類目產生歧異解讀,影響編碼的客觀性與可重複性。例如:總統大 選電視競選廣告中「議題廣告」是指在競選廣告中所提及的內容與公共事務、候選人政 見有關,如財政經濟、兩岸議題等。

(五)前測編碼類目:主要目的在檢測編碼類目是否能有效傳達研究文本內容,達 到編碼類目的互斥、完整性。前測者的挑選,最好選擇熟悉研究文本或有相似背景的人 員,有助對研究文本的理解,至少需兩人以上;當編碼過程出現爭議時,可透過團體討 論或第三者加入的方式進行抉擇,但這並不代表是正確的判斷,只是多數人的認同。研 究者需向前測者說明編碼流程與類目選項意義,並詢問前測者對編碼類目選項是否有所 疑慮;研究者不能告知研究問題或假設,以免影響前測編碼的客觀、中立性。理想的編 碼前測樣本數約為30 份,或研究文本的十分之一(Krippendorff, 2004b; Neuendorf, 2002)。

(六)修訂編碼類目:當編碼前測結果不符合預期時,即可能是研究者編碼說明不

夠詳細或類目選項不夠齊全。研究者與前測者需再溝通、協調,唯有透過不斷的前測,

才能提升編碼一致性。當前測編碼類目結果符合研究者預期時,即可正式進入編碼階段 (Hayes, 2005)。例如:本研究即經過 3 次編碼前測溝通與修訂編碼類目,才進行編碼員 間信度檢測。

(七)編碼員間信度(intercoder reliability)檢測:編碼會影響編碼員間信度與整篇 研究信度,編碼員扮演關鍵角色。Krippendorff(2004a)認為編碼員最好能了解研究文本 脈絡背景,並提出三點作為挑選編碼員的依據:(1)認知能力:編碼員需熟悉編碼程序 規則,具編碼穩定性;(2)學經歷背景:編碼員最好對研究文本有所認知或相關學經歷;

(3)頻率:透過類似主題進行編碼測驗,以測驗結果決定編碼員。

為避免編碼員間認知落差過大,降低編碼一致性。檢測前,研究者需向編碼員說明 編碼流程與類目定義,並詢問編碼者是否有疑慮。研究者同樣不能告知編碼員研究問 題、假設,以確保編碼客觀性。進行編碼員間信度檢測時,編碼員至少要兩人以上,獨 立編碼,研究者需避免身兼編碼員。

進行編碼員間信度測量時,樣本數最好不要低於母體樣本數的十分之一或少於50 份,但也不要超過300 份(Krippendorff, 2004a; Neuendorf, 2002; Riffe & Freitag, 1997)。

當編碼員間信度小於.80 時,編碼員與研究者需再協商、修訂編碼簿,必要時可更換編 碼員。編碼員間信度若高於.80,在多數研究中即可被接受。當編碼員間信度達到研究者 需求時,即可正式編碼。例如:總統大選電視競選廣告研究中,研究者請兩位傳播所研 究生進行編碼員間信度檢測,兩名研究生對2008 年台灣總統大選競選活動皆有所了解,

在編碼說明後,隨機抽出八則競選廣告,請編碼員獨立編碼,所得數值為.89,討論完有 異義的題項後,即正式展開研究文本編碼。

二、編碼關鍵:編碼員間信度

編碼員間信度是指各自獨立不受影響的編碼員,對同一資料訊息評估後所得到的結 論值,評估研究文本的一致性。Tinsley & Weiss(1975)提出「編碼員間共識」(intercoder

26 

agreement),意義與編碼員間信度相似,指的是不同編碼員對相同物件的一致性評價。

Neuendorf(2002)表示,內容分析著重編碼客觀性(至少要達到相互主觀性),編碼員間 信度是重要指標。雖然它不能確保擁有效度,但研究如果缺乏客觀、系統性,其結果將 備受質疑,類目選項及定義、編碼員培訓過程等,可能都有疏失(Signletary, 1993)。

Potter & Donnerstein(1999)認為進行隱含義內容分析時,為避免編碼員以自我心理認 知基模進行編碼類目主觀性解釋,研究者可強調編碼的重要性,以提升編碼員相互主觀 性,促進編碼一致性(Lombard, Duch, & Bracken, 2002)。

如何判斷編碼員間信度的高低?不同的編碼員間信度計算方式有一共通性,數值範 圍均介於0(不具信度、同意度)與 1(完美的信度、同意度)之間(Hayes, 2005; Lombard et al., 2002)。Krippendorff(2004a)在檢閱相關文獻、方法論後認為,數值若為.90 或更大 的數值則可以全部接受,.80 或大於.80 在多數的情況下也可以接受,但若小於.80 則表 示存在極大差異,可能是編碼員缺乏一致性共識或初探性研究,較難以被接受。

Neuendorf(2002)認為唯有對編碼員進行不斷的訓練,編碼員間信度才能提升。

三、如何計算與報告編碼員間信度

編碼員間信度可用以下統計方式表達:百分比同意度(Percent agreement)、Holsti、

Scott’s π、Cohen’s κ 與 krippendorff’s α 等,而百分比同意度是內容分析研究中最常使用 的表達形式(Hayes, 2005)。分別說明如下:

(一)百分比同意度(Percent agreement):也稱為(simple agreement, percentage of agreement, raw percent agreement, crude agreement),編碼人數需為雙數。百分比同意度 的好處是簡單、直覺與方便計算;缺點是無法解釋一致性,只能以機率來解釋發生的事 件,尤其當編碼類目不多時影響最為嚴重;百分比同意度計算方式,如表3-2。

百分比同意度允許研究者以人工方式增加編碼題項,提高編碼員間信度,而這些題 項可能是不易產生編碼差異的類目。由於百分比同意度只能以同意或不同意來表達,無 法得知編碼員編碼選項是否相近、類似,因此百分比同意度只能用來表達名目變項

(nominal variables)間的關係。

表3-2:百分比同意度計算方式

資料來源:(Krippendorff, 2004a)

(二)Holsti’s Method:Holsti(1969)針對百分比同意度進行修訂,兩者相似,也是 以兩名編碼員對相同事物進行評估,是測量編碼員間信度的簡易方法,只需計算編碼員 編碼一致的題數總合與全部編碼題數的比值。由於編碼員在進行編碼時其編碼題數一 樣,n1=n2,可轉成 2n,n 仍是指編碼題數,因此 Holsti’s Method 可減化成表 3-3(Lombard et al., 2002):

表3-3:Holsti 計算方式

資料來源:(Krippendorff, 2004a)

Holsti’s Method 與百分比同意度均被認為其統計方法難以有效解釋編碼一致性。這 兩種計算方式只具有機率的解釋能力,好比二選一題項,依照機率原則,將會有百分之 五十的機會其編碼結果會一致,同意度的比例會依其機率原則而形成,特別當選項類目 不多時更容易被機率取代。

(三)Scott’s Pi (π):用來修正百分比同意度與 Holsti’s Method 兩者統計計算缺失,

改進方法是將一致性測量的預期機率標準化(gauging its size relative to measure of agreement expected by chance),解釋編碼員在不同類目選項上的決擇,如:Scott’s π 與 Cohen’s κ,皆可修正機率同意度測量(chance-corrected agreement measures)。

Scott’s π 可用來解釋期望一致性(chance agreement),但無法說明編碼者在題目選 百分比同意度= 2M/n1+n2

M=編碼員彼此編碼一致的題數總合 n1, n2=編碼員編碼題數

Holsti’s Agreement = 2Fa/n1+n2

Fa=編碼員彼此編碼一致的題數總合 n1, n2=編碼員編碼題數

Agreement proportion = Fa/n

28 

項上的差異分配、系統性偏差,因為它假設編碼者會因對題目的認知而進行選項分配,

若沒隨著這假設,Scott’s π 將無法解釋一致性下降的原因(Neuendorf, 2002)。Scott’s π 只 適合進行名目變項與兩位編碼員的內容分析研究,但Craig(1981),認為兩者以上編碼員 也可以(Lombard et al., 2002)。

(四)Cohen’s Kappa (κ):也可解釋期望一致性,概念與 Scott’s π 相同。Cohen’s κ 期望一致性來自機率累積,並以multiplicative marginals 為基礎,而非增加類目,可說明 不同編碼者在類目選項上的差異分配,增加編碼可信度,超越邊際數值分配,但也形成 另一種保守性測量(conservative measure)。Cohen 明白這方法的侷限,但誠如 Perreault

& Leigh(1989)所說,Cohen’s κ 主要專注於心理學上的應用,研究員在進行觀察前已建 立應有的認知,了解編碼的可能性分佈與傳播研究不同。Brennan & Prediger(1981)指出,

即使有完美的編碼一致性,其數值仍會偏低。儘管Cohen’s κ 容許多位編碼員進行編碼,

即使有完美的編碼一致性,其數值仍會偏低。儘管Cohen’s κ 容許多位編碼員進行編碼,