第三章 研究方法與設計
第五節 研究信度與效度
質化研究對於檢驗研究品質的方式與量化研究不同,Lincoln 與 Guba(1985, 1986)
認為量化研究通常使用「評估(內部效度)」、「適用性(外部效度、類推性)」、「一致性
(信度、可複製性)」及「中立性(客觀)」等四個準則,並不適用於質化研究,因而提 出可信賴度(Trustworthiness)一詞包含確實性(Credibility)、轉移性(Transferability)、
可靠性(Dependability)、確認性(Confirmability)等四個概念,之後又從建構主義的 觀點提出真實性(Authenticity)的準則來評估研究品質,此外,Seale(1999, p.266)亦 提出一份研究報告的信度及效度為其可信賴度核心之看法。可信賴度的概念中,最接近 量化研究的「信度」概念者為可靠性(Dependability)(Lincoln & Guba, 1985, p.300;王 文科、王智弘,2010,p.37),其目的在於確保資料的一致性,即;至於「效度」一詞,
儘管學術界對於質化研究是否該使用「效度」這個概念有不同的見解,但絕大多數質化 研究者仍沿用「效度」一詞來討論研究的真實性問題(陳向明,2002)。本研究針對提 升研究品質的策略,仍以信度、效度二個陎向加以說明如下:
一、效度
Creswell 與 Miller(2000)認為一般質化研究者通常採用局內人檢核(Member Checking)、三角驗證(Triangulation)、深描(Thick Description)、同儕審視(Peer Reviewing)、局外人查核(External Audits)等方式建立效度,他們更進一步提出質化研 究效度過程的建立取決於三個主要的觀點:一為研究者的透視觀點,二為參與者的透視 觀點,三為研究以外的局外人透視觀點。本研究採研究者及局外人觀點,為達研究之可 信賴度,提出本研究提升效度所使用之方法如下,以確保本研究對於社會性問答服務提 問者之健康資訊尋求行為特徵之分析結果,其品質具有可信賴性。
(一)研究者的背景與準備
質化研究與量化研究一個很大的差異性在於質化研究是將研究者當作一種研究工
97
具,在這個前提下,質化研究認為並無所謂客觀的研究者存在,人都是透過主觀詮釋,
透過對於經驗、現象的理解,才會賦予資料意義,並經過詮釋後才能理解社會現象(林 珊如,2006)。依照 Creswell 與 Miller(2000)的第一個觀點,所謂研究者的透視觀點,
即是指由研究者來決定研究的確實性。
研究者本身曾於醫學圖書館參考服務與技術服務部門服務數年,對於一般消費者醫 學資訊需求與醫學資訊組織方式具有一定的熟悉度,雖不常使用 Yahoo!奇摩知識+的服 務,但於進行研究之前,即花費相當時日觀察及閱讀該服務「醫療保健」類別提問者的 問題內容,詴著理解健康資訊消費者的資訊需求,並從中尋找與研究有關之線索。在實 際進行編碼時,為確保每個類目涵蓋範圍與名稱命名的妥適性,若遇到較難判斷該問題 在醫學知識體系中的分類架構時,研究者可憑著以往在實務經驗上所累積的知識,同時 參考美國國家醫學圖書館(National Library of Medicine,簡稱 NLM)用來分析生物醫 學相關資源主題內容的控制詞彙表—醫學主題詞表(Medical Subject Headings,簡稱 MeSH),以及由美國國家醫學圖書館為一般公眾所創建的健康網站 MedlinePlus 中的健 康主題,將不易判斷的問題歸納至合宜的問題類型編碼類目架構中。而在從事質化研究 的經驗上,研究者曾以半結構式焦點團體訪談,進行 Facebook 使用者資訊揭露情形之 研究,故已有使用開放性譯碼及主軸譯碼之經驗,該研究並已獲同儕審查之學術期刊刊 登。
(二)進行前導研究並獲同儕審視
質性研究的同儕審視(Peer Reviewing)或同儕探詢(Peer Debriefing)是指透過未 參與研究的外部人員,透過同儕間專業性互動,以增進洞察力(王文科、王智弘,2010)。
為求研究分析框架的可行性及培養研究者的理論觸覺,本研究於進行正式研究前即進行 二 階 段 的 前 導 研 究 ,於 第 一 階 段 時 將 八 個健 康 資 訊 尋 求 階 段 的初 步 分 析 結 果 於 Workshop of the Asia Library and Information Research Group 工作坊中發表,獲得在場國 內外學者給予肯定及八個健康資訊尋求階段資料來源的修正建議。在完成論文進行口詴 前,亦先行將論文資料寄給系上所有專業教師審閱,同時進行口頭報告,由系上專業教
98
師提供許多寶貴的書陎及口頭修正意見,以使本研究的描述與詮釋達一致性共識。經由 二階段的前導研究,讓本研究不斷的進行修正,以確保研究效度。
二、信度
質性研究中的信度分析是為了確認研究者在蒐集與詮釋資料的過程和程序,是否 具有穩定性,可供他人追隨(王文科、王智弘,2010),而對於內容分析法而言,信度 分析亦是重要的環節,一份好的研究設計,無論應用的環境如何改變,皆應產生相同的 結果(Krippendorff, 1980, p. 129)。在內容分析方法上為了評估編碼內容的一致性,最 廣為利用的評估方法為信度分析(Lombard, Snyder-Duch, & Bracken, 2002)。王文科與 王智弘(2010)認為一份良好的質性研究會對資料蒐集與分析方式,提供鉅細靡遺的解 說,因此,本研究除了詳細說明資料蒐集與分析方式外,亦依 Guba(1981)的信度步 驟,採用編碼員間信度(Inter-coder Reliability)及編碼員內信度(Intra-coder Reliability),
進行本研究之信度分析。
(一)編碼員間信度(Inter-coder Reliability)
本研究分析者除了研究者本人及指導教授外,另邀請一位同樣進行健康資訊研究 的碩士生擔任編碼員,該編碼員於北部一所醫學圖書館擔任助理參考館員,時常協助讀 者尋求健康資訊,對於消費者的健康資訊需求有一定的敏感度。在編訂分析構陎的編碼 類目的過程中,研究者與指導教授始終持續進行討論,待初步編碼架構完成後,則加入 另一位編碼員與研究者針對編碼表的內容及編碼方式進行溝通與討論,在編碼員編碼過 程中,可隨時提出修改編碼類目或新增類目之建議,以確認所有編碼類目之適用性,最 後再由研究者與指導教授進行討論與確認。根據 Holsti(1969)檢測信度的公式為 2M /
(N1+N2),其中 M 代表編碼員間項目一致的編碼項目,N1 及 N2 分別代表編碼員編碼 項目的個數;內容分析法信度係數標準應達 0.80 以上(王石番,1991)。本研究於前導 研究及正式研究的信度分別達 0.82 及 0.86,說明如下:
1.前導研究
99
在第二階段的前導研究中,將經過研究者與指導教授討論確定的編碼類目表及八 個健康資訊尋求階段的問題內容檔案,提供給另一位編碼員,由編碼員隨機抽取 25%
的問題共 110 題進行編碼,編碼後進行比較以確認二份編碼表之差異性。當編碼結果不 一致時,研究者與另一位編碼員則透過討論的方式決定最後的編碼結果,即若研究者同 意第二位編碼員的看法,則採用第二位編碼員的編碼,反之亦然。前導研究編碼者間的 信度為 0.82,已達內容分析法信度係數標準 0.80 以上,故後續正式研究即以此編碼架 構為基礎進行分析。
2.正式研究
在進行正式研究時,同樣由該位熟悉內容分析法與健康資訊需求的編碼員進行編 碼。此時為了確保編碼結果的研究信度,除了於編碼前充分溝通外,另將編碼綱要(附 錄)、八個健康資訊尋求階段及十五個健康資訊類別的所有問題內容檔案,全部提供給 該位編碼員,同樣由其隨機各挑選 25%的問題進行分析,然後再由研究者進行比較確認 二份編碼表之差異性。之後由研究者與編碼員針對不一致的地方進行討論與溝通,若研 究者同意第二位編碼員的看法,則採用第二位編碼員的編碼,反之亦然。正式研究編碼 者間的信度為 0.86,已達內容分析法信度係數標準 0.80 以上,且較前導研究為高。
(二)編碼員內信度(Intra-coder Reliability)
研究者於進行正式研究中第二主軸健康資訊類別問題內容分析時,已完成第一主 軸健康資訊尋求階段的資料分析,惟因距離第一主軸分析時間已逾一年,為求編碼一致 性,研究者挑選第一主軸 400 則原先已編碼的問題內容 25%再次編碼,經與原本編碼對 照比較後,發現編碼一致性達 92%。