國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
第四節 實施專家意見調查
壹、專家意見調查實施程序
確認參與研究之專家群
統計調查結果 確認研究目的
相關文獻回顧 抽取初步評估指標
問卷回收與分析
多回合調查以 使得結果達到原先
設定的統計標準 進行修正式德菲
法問卷調查 建立修正式德菲法
之研究工具
進行深度訪談
圖 3-4-1 專家意見調查實施程序 資料來源：本研究
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
貳、發展專家問卷與設定專家意見統計基準
在問卷的設計中，評估指標重要性的評估採用李克特尺度量表
（Likert-type rating scale）予以測量，因為此種等距型的量測方式
（interval scale）相較於次序型的方式（ordinary scale）來說，不只是能 夠呈現出特定指標的「重要與否」，更提供了在比較指標之間「重要 程度」的一項依據，另外基於初步提取的指標約四十餘項，故重要性 的評估亦不採用配對比較（pair comparisons）和排序（ranking）的方 式，因為數量太多可能使得施測時間過長且排序上亦形困難（Scheibe, Skutsch & Schofer，1975），對調查結果未必有正面助益。
對專家群進行修正式德菲問卷調查後，將依專家群的意見逐步修 正各指標之重要性。在重要性的七分尺度中，若該指標經評估後，重 要性的平均值低於 5 則予以刪除，若高於此值，則需評估指標是否獲 得一致且穩定性的共識。故需要先參考相關德菲法研究文獻，決定本 研究相關的統計標準，以作為是否判斷專家意見統計結果的基準。
一、信度與效度：
（一）信度：
係指測驗結果的一致性、穩定性及可靠性，一般多以「內部一致 性」來加以表示該測驗信度的高低，李克特尺度量表（Likert Scale）多 以 Cronbach's α 來檢測內部一致性信度。一般認為 Cronbach's α 係數 只要在 0.5 或 0.6 以上即可接受，若 α 係數介於 0.7與 0.9 之間，則 表示具有高信度；Nunnally（1978）提出 Cronbach's α 值必須大於 0.7 方可接受的判斷原則。
（二）效度：
由於德菲法係由相關領域專家針對問卷內容加以判定及修正結 果，可匯聚具有「效度」之專家判斷，因此德菲法係由相關領域專家 針對問卷內容加以判定及修正結果，可匯聚具有「效度」之專家判 斷，因此得之問卷調查已具備專家效度（王文科，2003；吳明隆，
2003）。
二、一致性與穩定性之標準：
（一）一致性的判定標準：
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
所謂一致性，主要觀察專家群意見集合的四分位差（quartile deviation）即團體中間50%的意見的全距的一半，若四分位差越小，則 代表專家群間的意見越為集中 （林清彬，2003）。對專家意見一致性 的判定標準採用 Fahety（1979）和 Hollden & Wedman（1993）的看 法，當專家小組對該題項的意見分佈四分位差小於或等於.60，即專家 小組對該題項的意見達到高度一致性；四分位差介於 0.60 和 1.00 之 間，即專家小組對該題項的意見達到中度一致性；若當四分位差大於 1.00，即專家群對該題項的意見並未達到一致性的共識。
（二）穩定性的判定標準：
當部份題項未達意見一致標準時，亦可以將專家意見的整體穩定 程度作為調評估的依據。Scheibe、Skutsch & Schofer（1974）認為在兩 回合的統計結果中，由每個量表分數的分佈之改變的淨值加總起來可 推算出參與者意見改變的數量（將前項結果除以二），若改變意見的 總體人數比例在 15% 以下，即可達穩定的標準，可將其結果視為專家 一致的共識。
參、選取專家小組成員
根據 Murry & Hammons（1995）的看法，專家群的參與是整個德 菲法研究的重心所在，因此在相關議題所屬領域之專家群的篩選和確 認上，必須特別謹慎，需要衡量其實務經驗與專業知識。每一成員需 具備有該問題領域的專業能力，並且能夠提供最適當的訊息。本研究 擬以媒體、行銷傳播領域的研究學者、專業工作者為主要的專家選取 對象，希望能夠整合學界與業界之專業意見，建構一套具有專家共識 之效益指標。
在選取專家群人數方面。Murry 和 Hammons（1995）指出，德菲 法的最適專家群人數應該多於10人，且大於30人的專家群對研究的貢 獻也極其有限，因為人數過多將導致工作量繁雜，難以獲得有效結 論。本研究考量研究經費及可行性問題，決定專家群大小以 10 到 30 人間為最適。基於以上考量，本研究擬定專家群為 16 人，涵蓋媒體、
行銷傳播領域之學術界的學者專家與產業界的實務專家，名單列表如 下：
編號 單位 職稱 姓名
學術界代表 學術界代表 學術界代表 學術界代表
表 3-4-1 專家調查名單
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
編號 單位 職稱 姓名
1 政治大學廣播電視學系 專任教授 陳清河
2 文化大學新聞學系 專任副教授 莊伯仲
3 文化大學新聞學系 專任助理教授 徐振興
4 文化大學廣告學系 專任副教授 羅文坤
5 長榮大學大眾傳播學系 專任講師 張瑛玿
6 輔仁大學廣告學系 專任副教授 陳尚永
7 銘傳大學廣告學系 專任教授 陳耀竹
產業界代表 產業界代表 產業界代表 產業界代表
8 華視 業務部經理 洪坤榮
9 民視文化公司 副總經理 楊淑津
10 媒體庫 業務總監 唐琪珮
11 凱絡媒體 總經理 朱詣璋
12 新視紀整合行銷公司 總經理 翁銘隆
13 士奇整合行銷公司 總經理 莊硯婷
14 東方廣告公司 總經理 侯榮惠
15 Nielsen調查公司 主任 許玉芳
16 BBDO 廣告公司 副總經理 吳思穎
資料來源：本研究
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
肆、進行專家問卷發放：
本研究考慮專家群在回覆問卷上的時間因素及便利性，將視受訪 者要求，以親自送件或寄發電子郵件的方式傳達修正式德菲問卷，並 在 7 - 10 天後將問卷回收，經整理分析調查結果後，將此回合問卷結 果統計資料和相關圖表回饋至下一回合問卷的發展，再次進行發放的 程序。以此程序重複實施，直到整體意見調查結果達到先前再統計結 果方面所設定的一致性程度或者意見的穩定性。本研究的施測時間及 研究進度如下表：
日期 執行事項 備註
2009. 5 - 2009.7 相關文獻回顧整理，
發展專家問卷
2009. 7. 15 - 2009. 7. 20 擬定調查專家學者人 選
2009. 7. 21 - 2009. 7. 25 逐一進行電話聯繫，
探詢接受調查意願
過程中，少數先前擬定 的專家學者因不同事宜 不克接受調查。
2009. 7. 26 - 2009. 7. 30 重新修正調查名單，
並再次電話聯繫
確認最終接受調查之專 家學者名單
2009. 7. 31 - 2009. 8. 13 進行第一回合專家問 卷調查
共有初步建立之評估指 標共 68 項
2009. 8. 14 - 2009. 8. 15
統計第一回合調查結 果，並製作第二回合 專家問卷
68 項自相關文獻抽取之 評估指標已有 42 項指 標達到專家意見的高度 一致性，而此第二回合 問卷即針對其餘 26 項
「未達成專家一致共識 之評估指標」再度進行 意見調查。
2009. 8. 16 - 2009. 8. 28 進行第二回合專家問 卷調查
表 3-4-2 專家調查問卷發放進度
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
日期 執行事項 備註
2009. 8. 29 - 2009. 8.
30
統計第二回合調查結 果，並製作第三回合 專家問卷
68 項自相關文獻抽取之 評估指標已有 61 項指 標達到專家意見的高度 一致性，而此回合問卷 即針對其餘 7 項「未達 成專家一致共識之評估 指標」再度進行意見調 查。
2009. 8. 31 - 2009. 9.
10
進行第三回合專家問 卷調查
2009. 9. 11 - 2009. 9.
12
統計第三回合調查結 果
結果以達原先設定之統 計標準，德菲法專家問 卷調查結束
伍、資料統整分析：
本研究根據研究目的，以SPSS統計軟體作為主要資料分析工具。
在每一回合問卷回覆之後，經過統計分析將數據加以計算並整理為統 計圖表。每一新回合問卷中亦包括前一回合問卷整體專家群意見的重 要性頻率分配長條圖、平均數、四分位差及此位專家上次所填寫的答 案，在相互參照的情況下，以利專家群再次評估該指標的重要性。共 三回合之專家問卷調查結果產生後，經過整理與統計分析出結果。
為提取更具有原則性的主要評估指標，運用因素分析法對於相關 程度較高的變數，採取「主成份分析法」作為共同因素之抽取方法，
並以直交最大變異法（Varimax）進行轉軸，以萃取各構面主要因素。
而萃取出數個足以解釋多數指標結果的新評估指標後，再依此發展為 後續深度訪談的綱要，針對評估指標提出其看法並且針對大型活動規 劃的現況做出回應。
陸、進行深度訪談：
「訪談」是研究者「尋訪」、「訪問」被研究者並且與其進行
「交談」和「詢問」 的一種活動。「訪談」是一種研究性交談,是研究 資料來源：本研究
• 國
立 政 治 大 Ᏸ
•
N a tio na
l C h engchi U ni ve rs it y
者通過口頭談話的方式從被研究者那裡搜集（或者說「建構」）第一 手資料的一種研究方法（陳向明，2002）。
在進行多回合的專家問卷調查之後，所得資料將彙整統計而成一 套具有專家共識性之大型活動評估指標，提供以城市品牌為導向之策 略基礎。為使指標更具參考價值，需要了解其他影響策略規劃的潛在 因素，將其視為整體評估的考量，才不致使策略真空化，故後續需要 進一步補充大型活動相關單位的訪談資料，透過其經驗與觀點的分 享，使得該評估指標在應用於城市辦理相關大型活動時有其更為具體 的策略指示性作用。
本研究預計以城市大型活動之籌辦單位以及該城市的觀光、傳播 政府部門做為主要的訪談對象。因為兩者皆與該城市辦理大型活動的 策略規劃、活動執行以及後續評估等環節密切相關，對於研究中透過 專家學者及產業專業人士共同評選出的大型活動評估指標，能夠提供 許多更為貼近實務的看法，深化評估指標之內涵。