第三章 研究方法
第七節 信度與效度評鑑方式
本研究之問卷主要為居民對生態旅遊發展衝擊量表,為使問卷符合研究所 需,因此量表進行效度與信度之檢測,分別說明如下:
一、效度分析
效度(Validity)的意思是真實性,指的是構念或研究者在概念定義中將想法概 念化的方式契合量數的程度。效度又可分為四大類型,分別是表面效度、內容效 度、效標效度與建構效度(王佳煌等,2002;古永嘉,2003)。分別將其意義與檢 定方法描述如下:
(一)表面效度(Face Validity)
表面效度是由科學社群判斷指標是否真的測量到構念。例如,很少人會同 意用 2+2=?的問題問大學生,即可當作測量大學生數學能力的量數。本研究利 用文獻回顧收集題項,並在問卷設計階段經由專家審查,以達到表面效度。
(二)內容效度(Content Validity)
內容效度是一種特殊的表面效度,指測量工具內容的適切性。其判定方式 有兩種:第一,研究人員可經由謹慎的定義研究主題,審慎選擇量表的測量項 目並斟酌測量尺度的使用,以確保掌握內容效度。此種過程通常是直覺的,而 且每一研究人員可能不同。第二,利用一組專家評估測量工具與研究主題相符 的程度。本研究利用文獻回顧收集題項,並在問卷設計階段經由專家審查,以 達到內容效度。
在專家審查時,使用內容效度比(Content Validity Ratio)來代表專家判斷內 容效度程度的量數,用以判斷構念及所包含的題項內容是否適切,題項以「適 合」、「修正後適合」、「不適合」三個選項讓專家進行勾選,如題項被判定「適 合」的百分比在70%以上,或「適合」與「修正後適合」的累積百分比在 80%
以上,則保留該題項(吳明隆、涂金堂,2005)。並附加開放式問項詢問專家是
否有要增加之題項與其他建議。
(三)效標效度(Criterion Validity)
或稱效標關連效度(Criterion-related Validity),效標效度用某些標準或準 則,正確的指明一個構念。效標效度的驗證是把它和研究者有信心的構念具有 其他量數做比較。效標效度有兩個次類型如下:
1.同時效度(Concurrent Validity)
要具有同時效度,指標必須與既存且判定有效的指標相關連。
2.預測效度(Predictive Validity)
一個指標預測未來的事件,而這些事件在邏輯上與構念相關,那麼這種 效標效度就是預測效度。
效標關連效度最關鍵的問題就在效標(Criterion)的選用,做為測量分數有效 性與意義度的參照標準,效標必須能夠做為反應測量分數內涵與特質的獨立測 量,同時也需為社會大眾或一般研究者接受能夠具體反映某項特定內涵的指標 (邱皓政,2002)。過去多數研究(Gursoy et al., 2002; Gursoy & Rutherford, 2004;
Ko & Stewart, 2002; Lee & Back, 2003, 2006)都是利用旅遊發展衝擊預測居民支 持旅遊發展的程度,本研究亦使用「支持生態旅遊發展」作為預測效標,以檢 驗本研究之效標效度。
(四)建構效度(Construct Validity)
或稱構念效度,指測量工具的內容,能推論或衡量一些抽象的概念或特質 的能力。評估構念效度時,必須同時考慮理論與測量工具的配合。一般又將建 構效度分為聚合效度與區別效度:
1. 聚合效度(Convergent Validity)
或稱聚斂效度、聚合效度、輻合效度,聚合效度是指同一構念的多重量 數前後呼應,或者以類似的方式運作。
2.區別效度(Discriminant Validity)
或稱區辨效度,又稱分歧效度(Divergent Validity),是聚合效度的相反,
是說一個構念的指標和相對立的構念呼應或聚合,卻也與其分歧或有負面的 相關。
現有的統計工具如因素分析(factor analysis)與多元特質多重方法矩陣 (multitrait-multimethod matrix; MTMM matrix)可用以評估構念效度。邱皓政 (2002)也提到過去數十年來,最重要且至今仍廣為使用的是以 Campbell and Fiske (1959)提出的多重特質多重方法矩陣來測量量表的聚斂效度與區辨效 度,但 MTMM 發展至今已有許多不同變形,主因是許多學者針對 MTMM 提 出批評,最主要的一項爭議是利用 MTMM 設計對於構念效度的檢測一向缺乏 客觀的指標;其次,隨著測量的構念或使用方法的增加,研究者所須比對的相 關係數的次數就大幅度的增加,而每一個相關係數都是獨立計算得出,越多次 的比較將提高觸犯第一與第二類型錯誤的機率(type Ⅰ and Ⅱ errors);尤有甚 者,學者們批評MTMM 設計僅使用一系列的相關係數來判讀測量的效度,根 本沒有直接觸及潛在構念的檢驗,卻用以說明測驗具有潛在特質的測量能力。
而經過多年發展,SEM 的應用被認為是解決 MTMM 設計諸項問題的最有效方 法。
本研究將利用 SEM 的參數估計(Parameter Estimation)與模式假設檢定 (Hypothesis Testing)等兩種測定模式來檢驗建構效度。
第一,如果各構面下的測量題目都具有顯著性(t-value>1.96 及 p<0.05),又 每個構面之測量題組都具有高的信度,且潛在變項的平均變異數抽取量 (Average variance extracted)值需大於 0.50(Bagozzi & Yi, 1988),以證明每個構面 皆具有聚合效度。平均變異數抽取量公式如下:
ρv =(Σ 標準化負荷量2) / [ Σ(標準化負荷量2 ) + Σεj ] (ρv:平均變異數抽取量;
εj:第j 個觀察變項的測量誤)
第二,使用兩種方式來證明具有區別效度,一種為若限制兩個構面的相關 參數(correlation paremeter)為 1.0,則稱為限制性(constrain)的測量模型,若此卡 方值的增加較原來未限制的模型有顯著性的差異,即在自由度為1 之下,卡方 值差距大於3.84,那麼限制的模型不具有好的適配度,則原先未限制的模型是 成立的,表示這兩個構面之間是相關但不相同(黃芳銘,2004b;戴有德、黃宥 瑄,2005),以證明具有區別效度。另一種為讓潛在構念相關係數自由估計,並 將相關係數加減1.96 個標準差,如果信賴區間值並未包含 1.0,則表示具有區 別效度。
二、信度分析
信 度(Reliability)指測量結果是否具有一致性或穩定性的程度(古永嘉,
2003)。信度可界定為真實分數的變異數與觀察分數的變異數比例(吳明隆、涂金 堂,2005)。本研究以內部一致性信度係數 Cronbach’s α 係數與建構信度(Construct Reliability)係數來檢測信度,分別描述如下:
(一)內部一致性信度(Internal-consistency Reliability)
單獨根據一次施測結果即逕行估計量表或測驗的信度係數,此係數稱作
「內部一致性信度係數」(Internal-consistency Reliability Coefficient),或簡稱為
「內部一致性信度」(吳明隆、涂金堂,2005)。屬於內部一致性信度係數的信 度估計如:複本信度、折半信度(Split-half Reliability)、庫李信度 (K-R 信度)、
Cronbach’s α 係數等,一般而言,Cronbach’s α 係數為各種信度中較為嚴謹,有 時被稱為信度的低限(Lower Bound),因此 Cronbach’s α 係數可說是目前採行最 廣的一種信度指標(邱皓政,2002)。吳明隆、涂金堂(2005)指出在李克特態度量 表法中常用的信度考驗方法為Cronbach’s α 係數及折半信度。基於上述理由,
本研究採用Cronbach’s α 係數檢驗內部一致性信度。
DeVellis (2003)認為 α 值低於 0.60 完全不接受;0.60-0.65 最好不要;
0.65-0.70 是最小接受值;0.70-0.80 相當好;0.80-0.90 非常好。在信度接受度上 面,因素層面的Cronbach’s α 係數最好在 0.70 以上,如果是在 0.60 以上勉強也 可以接受,而總量表的α 係數最好在 0.80 以上,如果在 0.90 以上則信度更佳(吳 明隆、涂金堂,2005)。
(二)建構信度(Construct Reliability)
由於α 係數無法估計單一觀察變項的信度,且無法允許觀察變項之間的測 量誤具有相關,以及觀察變項同時作為一個以上潛在變項的指標,因此使用驗 證性因素分析來求信度以避免以上的一些問題。建構信度主要是在評鑑一組潛 在建構指標(Latent Construct Indicators)之一致性的程度。也就是說,此組指標 分享該潛在因素的程度,也是屬於內部一致性指標,信度高,表示指標之間有 高互為關連(Intercorrelated)存在(黃芳銘,2004b)。建構信度計算公式如下:
CR=(Σ 標準化負荷量)2 / [(Σ 標準化負荷量)2 + Σεj]
(CR:建構信度;
εj:第j 個觀察變項的測量誤)
Raines-Eudy (2000)指出越高的信度代表具有越低的誤差變異,建構信度值 從 0 到 1,0.5 以上是可以接受的(Acceptable)。而在使用驗證性因素分析對個 別變項的信度以及潛在因素檢定時,個別變項可以採用 0.5 做低標,而對潛在 變項的信度採用 0.6 當作低標較為恰當黃芳銘(2004b)。其中個別觀察變項信 度,亦即多元相關平方 (Squared Multiple Correlations, SMC)值需大於 0.2,相 當於標準化係數大於 0.45(游森期,2005)。綜合上述觀點,本研究對於個別觀 察變項信度(SMC 值)採 0.5 當標準,對潛在變項(CR 值)以 0.6 當作標準進行信 度檢驗。