第三章 研究方法
第一節 研究設計
根據第二章相關理論的探討,本研究初步發展跨國餐旅觀光休閒學 門品質的理論模式及評量工具,據以衡量此模式各構面的測量效用。接 著,本研究使用所發展的評量工具,進行國內外樣本之實證調查,以考 驗所建立的理論模式之效用和跨國評鑑之可行性。
本研究目的在於發展、評量及驗證跨國餐旅觀光休閒學門的品質評 量工具。本研究流程參考Lewis、Templeton 與 Byrd (2005)建立評量工具 的方法論(如圖 3-1),以發展出一套可行的跨國餐旅觀光休閒學門品質 評量工具。採用此方法論的理由是希望藉由嚴謹的量表發展程序,作為 效化本研究理論模式的基礎。除此之外,本研究還進行跨國樣本的複核 效化,以進一步檢定此評量工具的跨樣本效度。以下根據圖3-1 發展量表 的三個階段分別加以說明。
圖3-1 評量工具發展流程圖
資料來源:修改自“A methodology for construct development in MIS research” by Lewis et al., 2005, European Journal of Information
System, 14, 388-400.
階段一:範疇建立及題項發展
本研究第一階段在於確認概念的範疇及產生題項。此階段需界定一 組代表跨國餐旅觀光休閒學門品質構念成分的構面。本研究藉由理論的 探討、文獻分析及洪久賢主持之國科會整合型研究計畫小組所執行之三 場焦點座談(three focus groups)的錄音轉譯及分析,發展並修正此跨國學 門品質指標之初步架構,並編製成本研究的預試量表。
一、文獻分析
本研究從政府資料、期刊文獻、國外評鑑手冊與官方網站等蒐集資料
(包括ACPHA、TedQual、NRPA,以及QAA的餐旅觀光休閒學門評鑑/認 可指標系統等),進行文獻描述、歸納及整理分析,並且以適當的區別和比 較後,提出跨國餐旅觀光休閒學門評鑑的觀念性架構、定義和說明。接著,
研究計畫小組初步擬定七個構面、共計有99個題項的指標,提供專家學者 焦點座談討論的參考內容。
二、焦點座談
研究計畫小組一共舉辦了三場焦點座談以確認餐旅觀光休閒學門評 鑑之初步指標。在各場會議中,出席人員與研究者共同參與檢視、探討 研究所建構的每一項品質評鑑指標與內涵之正確性、明確性與適用性,
並提出看法與修正建議,做為本研究評量工具之專家效度。此焦點座談 在台灣的北、中、南三區進行三場會議,參與者包含教育評鑑專家、具 評鑑經驗之餐旅觀光休閒系所主任、產業主管、政府單位主管等共計 34 位代表,每場座談會平均有 10 至 13 位專家學者參與討論。另包含精熟 教育評鑑之書面資料審查者三位,因此共計有37 位專家參與指標檢視。
為求資料的保存與真實性,三場焦點座談會議採取全程錄音,會後 立即將錄音內容轉譯成逐字稿,並請兩位博士生進行分析及比對,找出 與原先架構意見相異與其他建議的項目,做為本研究修正評鑑指標內涵 的參考依據。之後,研究小組針對內容分析之結果進行討論,歸納出餐 旅觀光休閒學門品質的定義、組成構面、以及整合 ACPHA、TedQual、
NRPA 和 HLRS&T 等認可/評鑑的標準及指標,形成餐旅觀光休閒學門評
鑑指標的初步架構,作為下一階段發展指標問項的參考依據。圖3-2 說明 本研究評量工具之初始架構。其中,最上層(高階因素)代表「系所品 質」(program quality);中間層(初階因素)代表構成系所品質的七個標 準,包括:(1)策略性規劃;(2)課程;(3)教學與學習;(4)資源;(5)
教師;(6)學生成就;(7)行政管理。最下一層(構面)則是形成各個 標準共計18 項的指標構面,而各構面項下還有其分屬的指標細項。
圖3-2 餐旅觀光休閒學門品質評量初始架構圖
資料來源:修改自“餐旅觀光休閒高等教育評鑑之研究",洪久賢等,
2007,2007 餐旅觀光休閒高等教育評鑑研討會論文集(頁 1-38)。台北:台灣師大。
本研究評量工具之初步架構經由研究小組多次的會議討論,逐題修 改語意和文字,達到共識後發展成新編之問卷。在此階段,將原本指標 架構中概念相近的構面「1.2 系所規劃與特色」併入「1.1 系所願景及目
標」;以及將原構面「5.4 專業表現」併入「5.1 師資」之中,將原本 20 項構面修改成為18 項構面的指標架構圖(如圖 3-2)。其次,將部分指標 再次合併或刪除之後,原本 99 項指標轉化為 91 個問項以進行問卷的預 試調查。
階段二:評量工具之建構
本研究流程第二階段主要是將初始的學門品質指標架構中,屬於各 構面項下的指標敘述(item statements)轉化為評量工具上的問項,並運用 研究流程所提之前測(pre-test)、預試(pilot test)、專家效度(expert validity) 等方法,對各評鑑指標做進一步的修改和確認,以評估及篩選(item screening)本研究之學門品質評量工具。
一、前測(第一次專家效度)
為了確認指標的實用性,本研究進行前測,將初步建立的指標架構、
連同指標構面項下之指標項目所轉化而成的品質評量問卷初稿,邀請台 灣參與過系所評鑑的餐旅觀光休閒系所的兩位系主任進行系所自評 (self-study)之檢視,做為問卷前測(pre-test)時的專家效度。此問卷初稿乃 根據七個評估餐旅觀光休閒學門品質的標準,分為七個分量表,請系主 任對各分量表之題項提出建議、修改及回饋,以確認餐旅觀光休閒學門 品質評量工具的可行性及合適度。
經過前測之後,結果僅針對部分指標題項進行文字及語意上的修 改,並無刪除各分量表內之任何題項,顯示此學門品質評估架構及評鑑
指標有高度的可行性,可轉化成預試問卷以作為餐旅觀光休閒學門品質 評量的工具。
二、預試、國外專家效度(第二次專家效度)、題項篩選
在預試階段,本研究將前測所確認之品質問卷初稿,修訂成共包含 91 個原始題項的餐旅觀光休閒學門品質評量預試量表,以調查受訪教師 對於其服務系所認知的「實際執行狀況」進行試評(詳見附錄一)。基本 上,餐旅觀光休閒學門評鑑指標的敘述在轉化成預試量表時並沒有太大 的變動。此階段主要進行三項工作:(1)經由預試問卷的回收結果,刪 除填答者表示問卷填答有困難及題意概念重複的問項;(2)回收問卷透 過各分量表(共七個標準作為分量表)之項目分析及分量表之內部一致 性分析等檢驗方法;(3)邀請美國、英國及台灣的餐旅觀光休閒系所熟 悉此學門評鑑的教授專家,針對各個題項逐一檢視其理論構面之完整 性,做為第二次專家內容效度,以綜合判斷並決定是否刪除某個題項。
階段三:評量工具品質之評估
本研究第三階段主要針對正式量表施測後的結果進行信效度的分 析,用以確認此評量工具的品質。根據Lewis et al. (2005)的建議,新的評 量工具之發展須蒐集不同樣本(本研究使用台灣及美國兩個不同的樣本)
進行正式的施測,並運用探索性因素分析及驗證性因素分析,評估此評 量工具之信度與效度。在資料分析方面,本研究使用預試樣本進行項目 分析;並以台灣樣本進行探索性因素分析、分量表內部一致性分析及驗
證性因素分析等方式,以確認本研究理論模式的因素結構和信效度。接 著,以美國樣本進行驗證性因素分析,經由跨樣本複核效化的方式,檢 視此跨國餐旅觀光休閒學門品質模式之外在效度,並同時檢測此品質模 式之內在測量品質。最後,為了驗證最後修正模式為最佳模式,研究另 進行競爭模式的比較。本研究的整體研究流程如圖3-3 所示。
圖3-3 整體研究流程圖