行政院國家科學委員會專題研究計畫 成果報告
問答系統使用者滿意度評量模式之建構
研究成果報告(精簡版)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 95-2416-H-002-047-
執 行 期 間 ： 95 年 08 月 01 日至 96 年 10 月 31 日
執 行 單 位 ： 國立臺灣大學資訊管理學系暨研究所
計 畫 主 持 人 ： 翁崇雄
計畫參與人員： 博士班研究生-兼任助理：戴敏育
報 告 附 件 ： 出席國際會議研究心得報告及發表論文
處 理 方 式 ： 本計畫可公開查詢
中 華 民 國 96 年 11 月 19 日
國科會研究計劃 95 精簡報告 問答系統使用者滿意度評量模式之建構 -以使用者觀點建構問答系統成功模式
目錄
一、緒論 1. 研究背景與動機 2. 研究目的 二、文獻探討 三、研究架構與方法 1. 初始量表發展 2. 研究對象與資料蒐集方法 3. 量表精練 四、資料分析與結果 1. 信度分析 2. 內容效度 3. 效標關連效度 4. 構念效度 五、 結論與建議 附錄 A：問答系統使用者滿意度(USQAS)之初始問項(Initial Items) 參考文獻 計畫成果自評報告內容：
問答系統使用者滿意度評量模式之建構 -以使用者觀點建構問答系統成功模式
(The Development of Question Answering Systems Success Model from User’s Perspective) 摘要 問答系統目前成為一個快速發展的資訊科技，在資訊系統領域特別是資訊 檢索和自然語言處理社群受到相當程度的重視。相關的研究大多著重在問答系統 的技術層面上的設計與建置。使用者評量架構在資訊管理領域是一個重要的研究 議題，然而目前評量問答系統的方法大多從技術的角度來評量系統。雖然有少數 的研究嘗試從使用者的角度來評量問答系統，然而，目前還沒有一完整的問答系 統使用者滿度評量理論模型。本研究目的為建構一個問答系統使用者滿意度的評 量模式。藉以深入了解問答系統的使用者特質與使用行為，影響使用者採用問答 系統的主要因素為何，找出什麼因素影響使用者採用問答的使用意向。本研究以 過去資訊系成功模式相關理論為基礎，文獻探討推導建構一套評量問答系統的滿 意度模式，並建構出一個具有信度與效度的問答系統滿意度量表，藉由本研究提 出的問答系統滿意度評量模式，可以解釋及預測問答系統使用者使用行為與使用 者滿意度。當作未來問答系統研究開發人員發展問答系統的使用者角度設計參 考，以強化問答系統的使用者滿意度。
The Development of Question Answering Systems Success Model from User’s Perspective
Abstract
Emerging Question Answering Systems (QAS) are receiving increasing attention from information systems researchers, especially those in the information retrieval and natural language processing communities. Although a number of such systems have been developed, little work has been done on the development of evaluation models for them. Evaluation of an information system’s success and user satisfaction are important issues in information systems research, especially for emerging online service systems on the Internet. Evaluation models are used to understand a user’s needs and identify important dimensions and factors in the development of information systems in order to improve user satisfaction and their acceptance. The purpose of this study is to develop a validated instrument to measure User Satisfaction with Question Answering Systems (USQAS). The proposed validated instrument is intended as a reference for the design of question answering systems from a user’s perspective.
一、緒論
1. 研究背景與動機：
問答系統目前在資訊系統領域特別是資訊檢索和自然語言處理社群已受到 相當程度的重視(Allan et al. 2005; Aunimo et al. 2003; Burke et al. 1997; Cheng et al. 2002; Diekema et al. 2004; Grishman et al. 1978; Kokubu et al. 2005; Lin 2005; McGuinness 2004; Moldovan 2001; Radev et al. 2005; Zhang 2004)。相關的研究大 多著重在問答系統的技術層面上的設計與建置。使用者評量架構在資訊管理領域 是一個重要的研究議題(Venkatesh et al. 2003; Wixom et al. 2005)，然而目前評量 問答系統的方法大多從技術的角度來評量系統(Lin 2005; Lin et al. 2003)。雖然有 少數的研究嘗試從使用者的角度來評量問答系統，但尚無一完整的問答系統使用 者滿度評量理論模型。資訊系統滿意度與科技接受度是資訊管理領域研究學者在 探討資訊系統成功的兩大研究主題(Ajzen 1985; Ajzen 1991; Davis 1986; Davis 1989; Davis et al. 1989; DeLone et al. 1992; DeLone et al. 2003; DeLone et al. 2004; Fishbein et al. 1975; Ives 1984; Ives 1995; Ives et al. 1983; Parasuraman et al. 1985; Parasuraman et al. 1988; Parasuraman et al. 2005; Taylor et al. 1995; Venkatesh et al. 2003; Wixom et al. 2005; Workman 2005; Zviran et al. 2005)。其中，資訊科技接受 度的研究學者從使用者的態度與信念的角度來探討資訊系統的成功(Davis 1986; Davis 1989; Davis et al. 1989; Taylor et al. 1995; Venkatesh et al. 2003)。而資訊系統 滿意度的研究學者則從使用者滿意度的角度來探討使用者滿意度才是影響資訊 系統的成效的重要因素(Davis 1986; Davis 1989; Davis et al. 1989; DeLone et al. 1992; DeLone et al. 2003; Wixom et al. 2005)。本研究則從使用者觀點嘗試整合資 訊科技接受度及資訊系統滿意度而提出問答系統成功的評量模型。 2. 研究目的： 本研究的目的為建構一個問答系統使用者滿意度評量的模式。藉以深入了解 問答系統使用者的特質與使用行為，影響使用者採用問答系統的主要因素為何， 找出什麼因素影響使用者採用問答的使用意向。將綜合研究學者的研究，嘗試發 展具有信度及效度的問答系統的成功使用者滿意度量指標。預期研究成果可以藉 由本研究提出的問答系統成功模式，當作未來問答系統研究開發人員發展問答系
統的使用者角度設計參考，以強化問答系統的使用者滿意度。希望透過本研究成 果能提出對問答系統研究理論發展及管理實務上的意涵。
二、文獻探討
問答系統目前成為一個快速發展的資訊科技，在資訊系統領域特別是資訊 檢索和自然語言處理社群受到相當程度的重視(Allan et al., 2005; Aunimo et al., 2003; Azari et al., 2004)。問答系統可視為是搜尋引擎的特殊應用，傳統的搜尋引 擎如 Google, Yahoo 提供關鍵字搜尋相關網頁，但無法提供使用者以自然語言的 方式提出問題並回答精準答案。而問答系統的目的則是回答使用者的自然語言的 問題，找出、擷取並提供特定答案(Roussinov & Robles-Flores, 2004)。問答系統
可以接受的輸入問題，例如：「誰是中研院院長？」，問答系統的回答是「李遠哲」。 在商業環境中，問答系統可能適用的情境如下，例如： 找出競爭公司的高階主管 (如：誰是台積電的董事長？) 找出行銷目地的相關地點 (如：2006 年世界杯足球賽在那裡舉行？) 相關的研究大多著重在問答系統的技術層面上的設計與建置。目前評量問 答系統的方法大多從技術的角度來評量系統。僅有少數的研究嘗試從使用者的角 度來評量問答系統。Elizabeth et al. (2004)即是嘗試從使用者的角度來評量問答系 統並提出使用者為基礎的評量構面(User-based Evaluation dimensions)，包括系統 績效(System Performance)、答案(Answers)、資料庫內容(Database Content)、使用 者介面呈現(UI Display)、期望(Expectation)等五大構面所構成的階層式評量方 法。其中系統績效構面包含系統的速度、可用性、可靠性等因素。答案構面包含 完整性、正確性、相關性、對工作的有用性等因素。資料庫內容構面包含權威性、 提供資料來源、資料來源品質、範圍性、廣泛度、涵蓋度、大小、更新程度等因 素。使用者介面呈現構面包含輸入及輸出兩大因素，在輸入部份包括問題理解、 資訊需求理解、查詢類型、問題、自然語言查詢、關鍵字、瀏覽、問題型成協助、 拼字檢查縮寫字識別；在輸出部份包括組織性、回饋要求。而就預期構面則是類 以搜尋引擎的結果。 使用者評量架構在資訊管理領域是一個重要的研究議題，近 30 年來有許多
學者提出重要的理論基礎 (Ajzen and Fishbein, 1975; Davis et al. 1986, 1989; Ajzen,1989Venkatesh et al., 2003; Wixom & Todd,2005)，例如理性行為理論 (Theory of Reasoned Action, TRA)(Ajzen and Fishbein, 1975)、科技接受模型 (Technology Acceptance Model, TAM)( Davis et al. 1986, 1989)、計劃行為理論 (Theory of Planned Behavior, TPB)(Ajzen,1989)) 、 科 技 接 受 與 使 用 整 合 理 論 (Unified Theory of Acceptance and Use of Technology, UTAUT) (Venkatesh et al., 2003)、使用者滿意與科技接受整合理論(Theoretical Integration of User Satisfaction and Technology Acceptance, TIUSTA) (Wixom & Todd,2005)等皆是相關的重要理 論。
Ajzen and Fishbein (1975)提出理性行為理論(Theory of Reasoned Action, TRA)，從社會心理學的角度詮釋信念、態度、意圖、行為，探討個人的心理層 面從信念到行為的過程。Ajzen (1989)提出計劃行為理論(Theory of Planned Behavior, TPB)修改其所提出的 TRA 理論，增加認知行為控制構面可能影響其意 圖及行為。
Davis et al. (1986)提出 TAM 從技術的有用性和易用性兩大構面分析影響使用者 接受資訊科技的過程。由於 TAM 著重分析新技術使用者個人自發的心理動機， 忽略了社會、組織等外部環境對個人心理的影響。因此，Venkatesh and Davis (2000) 擴展 TAM 理論，加入主觀的行為規範，移除態度構面而提出了 TAM2 理論。 Venkatesh et al. (2003)指出瞭解使用者接受模式的基本概念可分為三大要 素，分別為個人對使用資訊科技的反應(Individual reaction)、使用資訊科技的意 圖(Intentions)、資訊科技的實際使用(Actual use)。其中個人對使用資訊科技的反 應會直接影響使用資訊科技意圖進而直接影響資訊科技的實際使用。同時，個人 對使用資訊科技的反應也會間接影響資訊科技的實際使用。而資訊科技的實際使 用之後可能也會影響到個人對使用資訊科技的反應。
Venkatesh et al. (2003) 提出科技接受與使用整合理論(Unified Theory of Acceptance and Use of Technology, UTAUT)用來解釋和預測使用者接受與使用資 訊科技的行為。UTAUT 回顧並結合過去學者所做的各種科技接受模型中對使用 意 圖 與 使 用 行 為 的 影響 因 素 後 ， 成 功 整 合了 包 括 理 性 行 為 理 論(Theory of Reasoned Action, TRA) (Fishbein and Ajzen 1975)、科技接受模型(Technology
Acceptance Model, TAM) (Davis 1989)、動機模型(Motivation Model, MM)(Davis et al. 1992)、計劃行為理論(Theory of Planned Behavior, TPB) (Ajzen 1991)、科技接 受模型與計劃行為理論整合模型(Combined TAM and TPB, C-TAM-TPB) (Taylor and Todd 1995)、個人電腦使用模型(Model of PC Utilization, MPCU) (Tompson et al. 1991)、創新擴散理論(Innovation Diffusion Theory, IDT) (Moore and Benbasat 1991)、社會認知理論(Social Cognitive Theory , SCT) (Compeau and Higgins 1995) 等八大模型理論。
Venkatesh et al. (2003)所提出的 UTAUT 整合理論中，主要包括績效期望 (Performance Expectancy) 、 努 力 期 望 (Effort Expectancy) 、 社 會 影 響 (Social Influence)、促成條件(Facilitating Conditions)等四大構面，其中性別、年齡、經驗 與自願使用則是四個干擾因素變項。在 UTAUT 模型中，影響資訊科技的行為意 圖(Behavioral Intention)有績效期望、努力期望、社會影響三個決定因素，而影響 資訊科技的使用行為(Use Behavior)則是行為意圖與促成條件因素所共同影響。 Venkatesh et al. (2003)的實證研究結果顯示，科技接受與使用整合理論(UTAUT) 對科技使用行為的解釋力可以逹到 70%，超過研究當中所回顧的八大模型理論的 解釋力僅有 17%至 53%。
Delone & McLean (1992) 提 出 資 訊 系 統 成 功 模 式 (Information Systems Success Model, D&M IS Success Model)，包括了系統品質(System Quality)、資訊 品 質 (Information Quality) 、 資 訊 系 統 的 使 用 (Use) 、 使 用 者 滿 意 度 (User Satisfaction)、個人衝撀(Individual Impact)、組織衝撀(Organizational Impact)等六 大構面來衡量資訊系統的成功。資訊系統成功模式中指出系統品質和資訊品質會 對資訊系統的使用與使用者滿意度造成影響，而資訊系統的使用與使用者滿意度 會造成個人衝撀，個人衝撀則會造成組織衝撀。
Pitt et al. (1995)導入服務品質(Service Quality)的概念來衡量資訊系統的有 效性，將服務品質構面加入 DeLone & McLean (1992)所提出的資訊系統成功模 式，指出服務品質會與系統品質和資訊品質共同影響資訊系統的使用與使用者滿 意度。
DeLone & McLean (2003)在經過他們於 1992 年所提出的資訊系統成功模式 的十年之後，對於許多學者在資訊系統成功模式的應用改良，進而更新資訊系統
成功模式使其更適用於逐漸成長的電子商務環境。DeLone & McLean (2003)提出 更新版本的資訊系統成功模式包括了資訊品質(Information Quality)、系統品質 (System Quality)、服務品質(Service Quality)、使用意圖(Intention to Use)、使用 (Use)、使用者滿意度(User Satisfaction)、淨利益(Net Benefits)等七大構面。在資 訊系統成功模式的更新版本中，指出資訊品質、系統品質、服務品質會共同影響 使用者意圖、使用與使用者滿意度，而資訊系統的使用與使用者滿意度則會影響 淨利益。
Wixom & Todd (2005)指出過去探討認知資訊系統成功(IS Success)的研究主 要可以分為使用者滿意(User Satisfaction)和科技接受(Technology Acceptance)兩 大流派(Wixom & Todd, 2005; DeLone & McLean, 1992; 2003)。這兩大流派過去一 直平行各自發展並沒有統一整合。Wixom & Todd (2005)將使用者滿意與科技接 受兩大理論透過區分系統本身的物體(object-based)信念與態度，以及使用系統的 行為(behavioral)信念與態度，而建立一個使用者滿意與科技接受理論性的整合。
Wixom & Todd (2005)提出使用者滿意與科技接受整合理論(Theoretical Integration of User Satisfaction and Technology Acceptance, TIUSTA)認為影響資訊 科技使用意圖的影響過程，可以從個人對於物體的信念與態度(Object-based beliefs and attitudes)會影響到行為的信念與態度(Behavioral beliefs and attitude)進 為影響到行為意圖(Intention)。其中物體的信念包括資訊品質(Information Quality) 與系統品質(System Quality)兩個構面，物體的態度包括資訊滿意度(Information Satisfaction)與系統滿意度(System Satisfaction) 兩個構面，行為的信念則包括有 用性(Usefulness)與易用性(Ease of use)兩個構面。其中資訊品質會影響資訊滿意 度進而影響有用性，而系統品質會影響系統滿意度進而影響易用性。易用性會影 響有用性，易用性和有用性會共同影響態度再影響到其行為意圖。 綜上所述，資訊系統滿意度與科技接受度是資訊管理領域研究學者在探討 資訊系統成功的兩大研究主題。資訊科技接受度的研究學者從使用者的態度與信 念的角度來探討資訊系統的成功。而資訊系統滿意度的研究學者則從使用者滿意 度的角度來探討使用者滿意度才是影響資訊系統的成效的重要因素。本研究綜合 過去的相關學理研究歸納出影響使用者滿意度的重要構面，包括資訊品質 (Information Quality)、系統品質(System Quality)、服務品質(Service Quality)、有
用性(Usefulness)與易用性(Ease of use)等五大構面。本研究參考過去研究的作 法，探討影響問答系統之架構從使用者觀點來探討問答系統使用者滿意度的評量 模型。 三、研究架構與方法 1. 初始量表發展 本研究經由文獻探討問答系統使用者滿意度評量的重要基礎理論，首先參 考重要理論模型以推導並建立研究架構，擬訂可能的構面(dimensions)，其次在 研究設計上，從相關文獻論述裡針對每個構面選出具內容效度的測項(validated determinants)，整理成問卷的原型(prototype)，透過焦點團體的訪談和小規模的前 測(pretest)，修訂問卷內容，確定正式問卷設計。問卷設定完成後，以學術機構 (如：中研院及台灣大學)為實證研究調查對象，並採取網路問卷調查方式，最後 就網路問卷調查結果進行資料分析探討其意義，分析結果可能隱含的研究及管理 意涵。 發展出適合的測量工具並得到有效的評量結果，首先必需先定義出構念的 理論意涵與其概念化領域(Churchill, 1979; Ong & Lai, 2007)。本研究定義問答系 統使用者滿意度(User Satisfaction with a Question Answering System, USQAS)為 「使用者對於問答系統整體性的評量(a user’s overall evaluation of a question
answering system」。本定義對於界定問答系統使用者滿意度領域以及相關文獻在
發展測量工具產生可能的初始問項時相當重要。基於過去發展測量工具的相關文 獻，包括使用者資訊滿意度(UIS; Ives et al., 1983)、終端使用者計算滿意度(EUCS; Doll et al., 2004; Doll & Torkzadeh, 1988; Doll & Torkzadeh, 1991)、科技接受模式 (TAM; Davis et al., 1989)、資訊系統成功模式(ISM; DeLone & McLean, 1992; 2003) 科技接受與使用整合理論(UTAUT)、使用者滿意與科技接受整合理論(TIUSTA, Wixom & Todd, 2005)，以及問答系統相關文獻(如：Hovy et al., 2002; Lin et al, 2005)，綜合歸納出影響使用者滿意度的重要構面，包括資訊品質(Information Quality)、系統品質(System Quality)、服務品質(Service Quality)、有用性(Usefulness)
與易用性(Ease of use)等五大構面，基於此五大構面，本研究發展出「問答系統 使用者滿意度量表(USQAS)」共 35 個問項的初始問項量表。為確定沒有漏掉重 要屬性或問項，本研究進行焦點團體訪談以補強刪除不需要的初始問項，訪談對 象包括教授、博士生、問答系統開發人員與實務經驗豐富的專家。根據焦點訪談 之後的意見進行初始問項的修正，本階段共有 10 個問項因為容易混淆或重覆而 刪除，並新增兩個問項。經過嚴謹的訪談結果檢驗後，本研究以 27 個問項做為 問答系統滿意度量表。本研究以這個量表對於問答系統相關領域的使用者與專家 進行小規模的前測，本階段前測結果只修改了三個混淆問項。 為了在詳細的分析之前能夠得到更快速的整體滿意度評量，問項必須能代 表概念的一般化以確保量表內容的效度。本研究參考過去相關研究文獻(Doll & Torkzadeh, 1988; Ong & Lai, 2007) 設計了五個總體問項(global items)用以評量問 答系 統滿 意度 (USQAS)量 表的 效標效度(criterion-related validity)與 法理效 度 (nomological validity)。本研究參考 Doll & Torkzadeh(1998)的兩個問項來評量整 理滿意度，將「你滿意本系統嗎?」修改為「整體而言，我對問答系統感到滿意」，
以及將「本系統成功嗎？」修改為「整體而言，本問答系統是成功的」。使用行
為意向則參考 Venkatesh & Davis (1996)的兩個問項，「我會願意使用問答系統」、
「我預期我會使用問答系統」與 Davaraj et al.( 2002)的一個問項「我會推薦問答 系統給其他人來使用」。因此，我們發展出初始使用者滿意度量表總共包括了 27 個問項以及 5 個整體問項，使用程度從非常不同意到非常同意的李克特七點尺度 (Likert Scale)。使用整體評量問項主要目的是用來做為分析量表的關聯效標效度 以及在詳細的分析之前能夠得到更快速的整體滿意度評量。除了問答系統滿意度 評量問項之外，問卷中也包括了人口統計變數問題。問卷受試者依他們同意的程 度填答每一道問題。所有的問項，包括初始問項及整體問項都是經過修訂並符合 問答系統的使用情境。 2. 研究對象與資料蒐集方法
本研 究針對 網路 問答 系 統－ 中研院 問 答系 統 (Academia Sinica Question Answering System, ASQA)使用者作為資料抽樣來源，中研院問答系統是目前公 開評測最佳的網路中文問答系統。本研究進行問答系統滿意度實證研究調查，是
透過網路進行問卷調查，最後獲得 276 份使用者的填答問卷，其中回收 235 份有 效問卷，有效問卷比率為 85%。所有的受測者都有使用問答系統的經驗，其中 男性比率為 69%，大部份受測者為學生(29.4%)及從事資訊業人員(23.4%)。 3. 量表精練 由於本研究的主要目標為發展一個具有一般化信效度的問答系統滿意度測 量工具，而問答系統的使用者大都為一般的網路使用者，因此本研究適合從網路 使用者蒐集抽樣資料。 本研究依據 Churchill (1979)的建議，精練量表可以先進行信度分析與問項 分析以提昇量表的信度。首先，我們使用 Cronbach’s alpha 係數來計算量表的信 度。由於本研究在使用探索性因素分析來找出問答系統使用者滿意度(USQAS) 的重要構面之前，先假定問答系統使用者滿意度為單一構念。基於這個假設，初 始問項的信度為 0.941。本研究的問項分析使用項目全體(Item-to-Total)方法來進 行問項的刪減，如果問項的 Item-to-Total 值低於 0.5 則將此問項刪除。 本研究使用探索性因素分析來刪除跨構面及因素負荷量<0.5 的問項，重覆 進行因素分析直到無法刪除問項以精練量表。探索性因素分析使用主成份 (principal components)萃取技術以及變異數最大直交轉軸法(varimax)。經過因素 分析精練量表之後，共得到四個因素構面與 18 個問項，本研究依問項含意命名 此四個構面因素為易用性(Ease of Use)、有用性(Usefulness)、及服務品質(Service Quality) 及內容品質(Content Quality)，此四因素累積總解釋變異為 78.5%。因素 分析結果詳如表 1 所示。
表1、因素分析結果(Factor analysis result: principal component extraction)
問項編碼 原始問項編碼 因素(Factor)
(Item code) (Original item code) 易用性
(Ease of use) 有用性 (Usefulness) 服務品質 (Service quality) 內容品質 (Content quality) 易用性(Ease of use) E1 Q27 0.914 0.118 0.068 0.098 E2 Q22 0.892 0.108 0.038 0.156 E3 Q25 0.886 0.093 0.125 0.095 E4 Q24 0.883 0.069 0.094 0.151 E5 Q26 0.858 0.097 0.020 0.154 有用性(Usefulness) U1 Q20 0.092 0.830 0.169 0.248 U2 Q18 0.118 0.790 0.213 0.293 U3 Q16 0.100 0.780 0.327 0.247 U4 Q19 0.049 0.769 0.173 0.313 U5 Q21 0.161 0.764 0.159 0.137 服務品質(Service quality) S1 Q12 0.092 0.186 0.862 0.177 S2 Q13 0.043 0.147 0.860 0.202 S3 Q11 0.109 0.243 0.856 0.179 S4 Q14 0.071 0.290 0.817 0.170 內容品質(Content quality) C1 Q2 0.137 0.375 0.194 0.789 C2 Q4 0.112 0.262 0.214 0.761 C3 Q1 0.278 0.367 0.261 0.742 C4 Q3 0.267 0.267 0.210 0.728 Cronbach's Alpha 0.944 0.909 0.920 0.893 Eigenvalue 8.072 3.287 1.733 1.044 累積解釋變異 Cumulative variance explained (%) 44.845 63.106 72.736 78.535
四、資料分析與結果 1. 信度分析 本研究採用 Cronbash’s Alpha 係數來評量問項內部一致性並計算以及量 表的信度。本研究分析顯示，全部 18 個問項量表的整體信度為 0.92，超過 一般研究最基本標準建議值 0.80。個別構面的信度分別為：易用性(Ease of Use)=0.94、有用性(Usefulness)=0.90、服務品質(Service Quality)=0.92、及內 容品質(Content Quality)=0.89。此外，對於每一問項的校正項目全體相關 (Corrected Item-to-Total Correlation)也都大於 0.5，結果充分顯示本研究所發 展的量表具有高信度。校正項目全體相關詳如表 2 所示。
表 2、校正項目全體相關(Corrected item-to-total correlations)
問項編碼 (Item Code) 原始問項 編碼 (Original Item code) 問項描述 (Item Description) 校正項目全 體相關 (Corrected Item-Total Correlation) E1 Q27 我與「問答系統」的互動是清楚而且容易理解的。 0.557 E2 Q22 學習使用「問答系統」對我來說是容易的。 0.556 E3 Q25 熟練的使用「問答系統」對我來說是容易的。 0.556 E4 Q24 使用「問答系統」執行我想要做的事是容易的。 0.550 E5 Q26 我發現「問答系統」是容易使用的。 0.517 U1 Q20 使用「問答系統」可以改善我工作的效率。 0.643 U2 Q18 使用「問答系統」對我的工作是有用的。 0.680 U3 Q16 使用「問答系統」可以改善我工作的績效。 0.702 U4 Q19 使用「問答系統」可以增加我工作的生產力。 0.618 U5 Q21 使用「問答系統」 可以使我工作時變得更容易。 0.584 S1 Q12 「問答系統」是可信賴的。 0.587 S2 Q13 「問答系統」 的工作人員能提供使用者快速的服務。 0.547 S3 Q11 「問答系統」有最新的硬體和軟體。 0.628 S4 Q14 「問答系統」 的工作人員有足夠的專業知識能做好他們的工作。 0.608 C1 Q2 「問答系統」所提供的資訊是容易了解的。 0.685 C2 Q4 「問答系統」所提供的資訊是有關的。 0.603 C3 Q1 「問答系統」所提供的資訊是完整的。 0.772 C4 Q3 「問答系統」所提供的資訊是個人化的。 0.672 2. 內容效度 內容效度是指量表的問項為所欲測量構念的代表性樣本之問項取樣代 表性程度 (Churchill, 1979)。本研究依據過去相關研究循嚴謹的程序概念化問
答系統滿意度構念發展初始問項，並透過專家學者的訪談確認，以及量表精 練的重覆程序。因此本研究所發展的量表應具有一定的內容效度。 3. 效標關連效度 本研究計算效標關連效度是透過計算比較問答系統滿意度量表的全部 問項總分數(18 個問項加總分數)與以及外部效標 (評量關答系統整體滿意度 的五項整體問項加總分數)的相關係數。研究結果顯示 18 題問項的問答系統 滿意度量表效標關連效度為 0.62 顯著水準 0.000，表示本研究所發展的量表 具有可接受的效標關連效度。 4. 構念效度 構念效度是指量表可以真正測量出所欲衡量構念或特質的程度。為達到 構念效度，本研究使用多種效度策略，包括項目全體相關法(Item-to-Total correlations)、因素分析來檢驗收斂效度與區別效度。在使用項目全體相關法 及因素分析之後，每一問項與全體總分之相關係數均超過 0.5，顯示本量表 具有構念效度。 收斂效度 收斂效度是指相同構念的問項彼此之間的相關要高，而單一因素內問項 彼此相關，並高於一定數值足以進行驗證區別效度。本研究使用相關係數矩 陣法(correlation matrix)(Doll & Torkzadeh, 1988; Ong et al., 2007)來檢驗收斂 效度及區別效度。本研究結果顯示問項因素內相關(within-factor correlation) 最小值分別如下：易用性(Ease of Use)=0.72、有用性(Usefulness)=0.57、服務 品質(Service Quality)=0.70、及內容品質(Content Quality)=0.57，這些相關係 數都顯著大於 0 (p<0.000)，表示足以進行驗證區別效度。相關係數矩陣分析 詳如表 3 所示。
表 3、相關係數矩陣分析(Analysis of Inter-Item Correlation Matrix) 易用性 (Ease of Use) 有用性 (Usefulness) 服務品質 (Service Quality) 內容品質 (Content Quality) E1 E2 E3 E4 E5 U1 U2 U3 U4 U5 S1 S2 S3 S4 C1 C2 C3 C4 E1 1.00 E2 0.81 1.00 E3 0.80 0.80 1.00 E4 0.79 0.78 0.78 1.00 E5 0.79 0.74 0.72 0.73 1.00 U1 0.22 0.25 0.21 0.18 0.19 1.00 U2 0.25 0.24 0.21 0.23 0.23 0.75 1.00 U3 0.23 0.20 0.21 0.23 0.23 0.72 0.74 1.00 U4 0.17 0.20 0.19 0.17 0.17 0.71 0.67 0.68 1.00 U5 0.25 0.24 0.25 0.23 0.22 0.61 0.60 0.65 0.57 1.00 S1 0.18 0.16 0.22 0.19 0.17 0.35 0.38 0.48 0.36 0.34 1.00 S2 0.13 0.14 0.17 0.16 0.10 0.34 0.36 0.45 0.34 0.29 0.74 1.00 S3 0.21 0.18 0.23 0.23 0.16 0.39 0.46 0.51 0.39 0.37 0.76 0.77 1.00 S4 0.18 0.16 0.22 0.18 0.12 0.44 0.46 0.52 0.42 0.35 0.75 0.70 0.75 1.00 C1 0.27 0.29 0.29 0.28 0.27 0.53 0.54 0.56 0.60 0.46 0.41 0.35 0.43 0.42 1.00 C2 0.22 0.26 0.23 0.27 0.25 0.46 0.50 0.47 0.42 0.42 0.39 0.37 0.38 0.41 0.68 1.00 C3 0.40 0.38 0.38 0.40 0.40 0.55 0.58 0.57 0.57 0.48 0.45 0.45 0.48 0.45 0.80 0.65 1.00 C4 0.35 0.41 0.33 0.37 0.36 0.48 0.52 0.50 0.47 0.37 0.37 0.40 0.40 0.38 0.66 0.57 0.72 1.00 區別效度 本研究使用計算理論因素所在問項大於其他因素所在問項相關係數的 次數來檢驗區別效度。例如，有用性因素最低的因素內相關係數為 0.57，如 果有一個其他因素內的問項與有用性因素的相關係數大於 0.57，則違犯次數 為 1。依據 Chambell and Fiske (1959)的建議，違犯次數總和不得超過總比較 次數比率 50%才具有區別效度。本研究結果顯示只有 4 個違犯次數，表示本 研究具有區別效度。綜合以上結果，顯示本研究發展之量表具有收斂效度與 區別效度。
五、 結論與建議 本研究從使用者滿意度的角度來探討使用者滿意度才是影響資訊系統的成 效的重要因素。在研究方法上，本研究以過去資訊系成功模式相關理論為基礎， 文獻探討推導建構一套評量問答系統的成功模式。本研究深入了解問答系統的使 用者特質與使用行為，影響使用者採用問答系統的主要因素，研究結果顯示影響 使用者採用問答系統滿意度為四個主要因素分別為：易用性(Ease of Use)、有用 性(Usefulness)、及服務品質(Service Quality) 及內容品質(Content Quality)。
本研究貢獻為經過嚴謹的量表建構過程得出一個具有高信效度的問答系統 滿意度量表，最後發展所得到的精練量表包括四個因素共 18 個問項，問答系統 使用者滿意度評量模式如圖 1 所示。藉由本研究提出的問答系統滿意度評量模 式，可以解釋及預測問答系統使用者使用行為與使用者滿意度。當作未來問答系 統研究開發人員發展問答系統的使用者角度設計參考，以強化問答系統的使用者 滿意度。 易用性 (Ease of Use) E1 問答系統使用者滿意度 (USQAS) 有用性 (Usefulness) 服務品質 (Service Quality) 內容品質 (Content Quality) E2 E3 E4 E5 U1 U2 U3 U4 U5 S1 S2 S3 S4 C1 C2 C3 C4 圖 1. 問答系統使用者滿意度評量模式
研究限制 僅管本研究嚴謹的程序發展並驗證問答系統滿意度評量模式，但仍有以下幾 點研究限制有待後續研究進一步探討。 1. 樣本代表性問題，本研究受測樣本為曾經使用或現在正在使用並對問答系統 有興趣者才可能會填答問卷，由於回答問卷的受試者是自願的，因此可能會有自 我選擇的偏誤問題。 2. 本研究屬單一時間之實證研究，然而使用者的認知可能會隨時間而增減，由 於研究資源限制，本研究並未進行多次資料收集探討量表的再測信度，未來研究 可以進一步探討本研究發展量表之再測信度。
附錄 A：問答系統使用者滿意度(USQAS)之初始問項(Initial Items) Q1. 「問答系統」所提供的資訊是完整的。 Q2. 「問答系統」所提供的資訊是容易了解的。 Q3. 「問答系統」所提供的資訊是個人化的。 Q4. 「問答系統」所提供的資訊是有關的。 Q5. 「問答系統」所提供的資訊是安全的。 Q6. 「問答系統」所提供的系統是可靠的。 Q7. 「問答系統」所提供的系統是有彈性的。 Q8. 「問答系統」所提供的系統是整合的。 Q9. 「問答系統」所提供的系統是可存取的。 Q10. 「問答系統」所提供的系統是及時性的。 Q11. 「問答系統」有最新的硬體和軟體。 Q12. 「問答系統」是可信賴的。 Q13. 「問答系統」 的工作人員能提供使用者快速的服務。 Q14. 「問答系統」 的工作人員有足夠的專業知識能做好他們的工作。 Q15. 「問答系統」 用心關懷使用者。 Q16. 使用「問答系統」可以改善我工作的績效。 Q17. 使用「問答系統」讓我能更快速完成我要做的工作。 Q18. 使用「問答系統」對我的工作是有用的。 Q19. 使用「問答系統」可以增加我工作的生產力。 Q20. 使用「問答系統」可以改善我工作的效率。 Q21. 使用「問答系統」 可以使我工作時變得更容易。 Q22. 學習使用「問答系統」對我來說是容易的。 Q23. 我與「問答系統」的互動是很有彈性的。 Q24. 使用「問答系統」執行我想要做的事是容易的。 Q25. 熟練的使用「問答系統」對我來說是容易的。 Q26. 我發現「問答系統」是容易使用的。 Q27. 我與「問答系統」的互動是清楚而且容易理解的。 Q28. 我會願意使用「問答系統」。 * Q29. 我預期我會使用「問答系統 」。 * Q30. 我會推薦「問答系統」給其他人來使用。 * Q31. 整體而言，我對「問答系統」感到滿意。 * Q32. 整體而言，本「問答系統」是成功的。 * * 效標問項 (Criterion Items)
參考文獻
Ajzen, I. "Message-Attitude-Behavior Relationship - Theory, Methodology, and Application - Cushman,Dp, Mcphee,Rd," Contemporary Psychology (26:12) 1981, pp 964-966.
Ajzen, I. "From intentions to actions: A theory of planned behavior," in: Springer
series in social psychology, J. Kuhl and J. Beckmann (eds.), Springer, Berlin, 1985, pp. 11-39.
Ajzen, I. "The Theory of Planned Behavior," Organizational Behavior and Human
Decision Processes (50:2), Dec 1991, pp 179-211.
Ajzen, I. "Nature and operation of attitudes," Annual Review of Psychology (52) 2001, pp 27-58.
Ajzen, I. "Perceived behavioral control, self-efficacy, locus of control, and the theory of planned behavior," Journal of Applied Social Psychology (32:4), Apr 2002, pp 665-683.
Ajzen, I., Brown, T.C., and Carvajal, F. "Explaining the discrepancy between intentions and actions: The case of hypothetical bias in contingent valuation,"
Personality and Social Psychology Bulletin (30:9), Sep 2004, pp 1108-1121. Ajzen, I., and Fishbein, M. "Questions raised by a reasoned action approach:
Comment on Ogden (2003)," Health Psychology (23:4), Jul 2004, pp 431-434. Allan, J., Carterette, B., and Lewis, J. "When Will Information Retrieval Be "Good Enough"? - User Effectiveness As a Function of Retrieval Accuracy," Proceedings of ACM SIGIR 2005, 2005.
Aunimo, L., Heinonen, O., Kuuskoski, R., Makkonen, J., Petit, R., and Virtanen, O. "Question answering system for incomplete and noisy data - Methods and measures for its evaluation," Advances in Information Retrieval (2633) 2003, pp 193-206.
Azari, D., Horvitz, E., Dumais, S., and Brill, E. "Actions, answers, and uncertainty: a decision-making perspective on Web-based question answering," Information
Bock, G.W., Zmud, R.W., Kim, Y.G., and Lee, J.N. "Behavioral intention formation in knowledge sharing: Examining the roles of extrinsic motivators, social-psychological forces, and organizational climate," MIS Quarterly (29:1), Mar 2005, pp 87-111.
Burke, R.D., Hammond, K.J., Kulyukin, V., Lytinen, S.L., Tomuro, N., and Schoenberg, S. "Question answering from frequently asked question files - Experiences with the FAQ FINDER system," AI Magazine (18:2), Sum 1997, pp 57-66.
Calisir, F., and Calisir, F. "The relation of interface usability characteristics, perceived usefulness, and perceived ease of use to end-user satisfaction with enterprise resource planning (ERP) systems," Computers in Human Behavior (20:4), Jul 2004, pp 505-515.
Cheng, J.X., Kumar, B., and Law, K.H. "A question answering system for project management applications," Advanced Engineering Informatics (16:4), Oct 2002, pp 277-289.
Churchill, G. A. "A Paradigm for Developing Better Measures of Marketing Constructs," Journal of Marketing Research, (16:1), 1979, pp 64-73.
Davis, F.D. "A technology acceptance model for empirically testing new end-user information systems: Theory and results," in: Sloan School of Management, Massachusetts Institute of Technology, 1986.
Davis, F.D. "Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology," MIS Quarterly (13:3), Sep 1989, pp 319-339. Davis, R.D., and Bagozzi, R.P. "User acceptance of computer technology: a
comparison of two theoretical models," Management Science (35:8) 1989, pp 982-1003.
DeLone, W.H., and McLean, E.R. "Information Systems Success: The Quest for the Dependent Variable," Information Systems Research (3:1), Mar1992 1992, p 60.
DeLone, W.H., and McLean, E.R. "The DeLone and McLean Model of Information Systems Success: A Ten-Year Update," Journal of Management Information
DeLone, W.H., and McLean, E.R. "Measuring e-commerce success: Applying the DeLone & McLean information systems success model," International
Journal of Electronic Commerce (9:1), Fal 2004, pp 31-47.
Devaraj, S., Fan, M., and Kohli, R. "Antecedents of B2C channel satisfaction and preference: Validating e-commerce metrics, " Information Systems Research (13:3), 2002, pp 316-333.
Diekema, A.R., Yilmazel, O., and Liddy, E.D. "Evaluation of Restricted Domain Question-Answering Systems," Proceedings of EACL Workshop on Question Answering in Restricted Domains, Barcelona, Spain, 2004.
Doll, W. J., Deng, X. D., Raghunathan, T. S., Torkzadeh, G., and Xia, W. D. "The meaning and measurement of user satisfaction: A multigroup invariance analysis of the end-user computing satisfaction instrument," Journal of
Management Information Systems (21:1), 2004, pp 227-262.
Doll, W. J., and Torkzadeh, G. "The Measurement of End-User Computing Satisfaction," MIS Quarterly (12:2), 1988, pp 259-274.
Doll, W. J., & Torkzadeh, G. "The Measurement of End-User Computing Satisfaction - Theoretical and Methodological Issues," MIS Quarterly (15:1), 1991, pp 5-10.
Elizabeth, D.L., Anne, R.D., and Ozgur, Y. "Context-based question-answering evaluation," Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval, ACM Press, Sheffield, United Kingdom, 2004, pp. 508-509.
Fishbein, M., and Ajzen, I. Belief, attitude, intention, and behavior : An introduction
to theory and research Addison-Wesley Pub. Co. , Don Mills, Ontario, 1975. Garrity, E.J., Glassberg, B., Kim, Y.J., Sanders, G.L., and Shin, S.K. "An
experimental investigation of Web-based information systems success in the context of electronic commerce," Decision Support Systems (39:3), May 2005, pp 485-503.
Grishman, R., and Hirschman, L. "Question Answering from Natural-Language Medical Data-Bases," Artificial Intelligence (11:1-2) 1978, pp 25-43.
Science (30:5) 1984, pp 586,518.
Ives, B. "Exploring the Factors Associated with Expert-Systems Success," MIS
Quarterly (19:1), Mar 1995, pp R14-R14.
Ives, B., and Olson, M.H. "The measurement of user information satisfaction,"
Communications of the ACM (26:10) 1983, pp 785 - 793.
Jackson, C.M., Chow, S., and Leitch, R.A. "Toward an understanding of the behavioral intention to use an information system," Decision Sciences (28:2), Spr 1997, pp 357-389.
Kim, S.S., and Malhotra, N.K. "A longitudinal model of continued IS use: An integrative view of four mechanisms underlying postadoption phenomena,"
Management Science (51:5), May 2005, pp 741-755.
Klenke, K. "Construct Measurement in Management-Information-Systems - a Review and Critique of User Satisfaction and User Involvement Instruments," INFOR, 30(4), 1992, pp 325-348.
Kokubu, T., Sakai, T., Saito, Y., Tsutsui, H., Manabe, T., Koyama, M., and Fujii, H. "The Relationship between Answer Ranking and User Satisfaction in a Question Answering System," Proceedings of the Fifth NTCIR Workshop Meeting on Evaluation of Information Access Technologies (NTCIR-5), Tokyo, Japan, 2005.
Kruschwitz, U., and Al-Bakour, H. "Users want more sophisticated search assistants: Results of a task-based evaluation," Journal of the American Society for
Information Science and Technology (56:13), Nov 2005, pp 1377-1393. Kwok, C., Etzioni, O., and Weld, D. "Scaling question answering to the Web,"
ACMTransactions on Information Systems (19:3), Jul 2001, pp 242-262. Larsen, K.R.T. "A taxonomy of antecedents of information systems success: Variable
analysis studies," Journal of Management Information Systems (20:2), Fal 2003, pp 169-246.
Lim, H., and Dubinsky, A.J. "The theory of planned behavior in E-commerce: Making a case for interdependencies between salient beliefs," Psychology &
Lin, J. "Evaluation of Resources for Question Answering Evaluation," Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2005), Salvador, Brazil, 2005. Lin, J., Quan, D., Sinha, V., Bakshi, K., Huynh, D., Katz, B., and Karger, D.R. "What
Makes a Good Answer? The Role of Context in Question Answering," Proceedings of the Ninth IFIP TC13 International Conference on Human-Computer Interaction (INTERACT 2003), Zurich, Switzerland, 2003. Luarn, P., and Lin, H.H. "Toward an understanding of the behavioral intention to use
mobile banking," Computers in Human Behavior (21:6), Nov 2005, pp 873-891.
McGuinness, D.L. "Question answering on the semantic web," IEEE Intelligent
Systems (19:1), Jan-Feb 2004, pp 82-85.
Moldovan, D. "Question-answering systems in knowledge management," IEEE
Intelligent Systems (16:6), Nov-Dec 2001, pp 90-92.
Moldovan, D., Pasca, M., Harabagiu, S., and Surdeanu, M. "Performance issues and error analysis in an open-domain Question Answering system," ACM
Transactions on Information Systems (21:2), Apr 2003, pp 133-154.
Moore, G.C., and Benbasat, I. "Development of an Instrument to Measure the Perceptions of Adopting an Information Technology Innovation," Information
Systems Research (2:3), Sep 1991, pp 192-222.
Morris, M.G., Venkatesh, V., and Ackerman, P.L. "Gender and age differences in employee decisions about new technology: An extension to the theory of planned behavior," Ieee Transactions on Engineering Management (52:1), Feb 2005, pp 69-84.
Ong, C.S., and Lai, J.Y. "Measuring user satisfaction with knowledge management systems: scale development, purification, and initial test," Computers in
Human Behavior (23:3), 2007, pp 1329-1346.
Parasuraman, A., Berry, L.L., and Zeithaml, V.A. "Refinement and Reassessment of the Servqual Scale," Journal of Retailing (67:4), Win 1991, pp 420-450. Parasuraman, A., Zeithaml, V.A., and Berry, L.L. "A Conceptual-Model of Service
1985, pp 41-50.
Parasuraman, A., Zeithaml, V.A., and Berry, L.L. "Servqual - a Multiple-Item Scale for Measuring Consumer Perceptions of Service Quality," Journal of Retailing (64:1), Spr 1988, pp 12-40.
Parasuraman, A., Zeithaml, V.A., and Malhotra, A. "E-S-QUAL - A multiple-item scale for assessing electronic service quality," Journal of Service Research (7:3), Feb 2005, pp 213-233.
Piccoli, G., RamiAhmad, and Ives, B. "Web-based virtual learning environments: A research framework and a preliminary assessment of effectiveness in basic IT skills training," MIS Quarterly (25:4), Dec 2001, p 401.
Pitt, L.F., Watson, R.T., and Kavan, C.B. "Service Quality - a Measure of Information Systems Effectiveness," MIS Quarterly (19:2), Jun 1995, pp 173-187.
Pomerantz, J. "A linguistic analysis of question taxonomies," Journal of the American
Society for Information Science and Technology (56:7), May 2005, pp 715-728.
Radev, D., Fan, W.G., Qi, H., Wu, H., and Grewal, A. "Probabilistic question answering on the Web," Journal of the American Society for Information
Science and Technology (56:6), Apr 2005, pp 571-583.
Taylor, S., and Todd, P.A. "Understanding Information Technology Usage: A Test of Competing Models," Information Systems Research (6:2), Jun 1995, p 144. Venkatesh, V., Morris, M.G., Davis, G.B., and Davis, F.D. "User Acceptance of
Information Technology: Toward A Unified View," MIS Quarterly (27:3), Sep 2003, p 425.
Wang, Y. S., and Liao, Y. W. "The conceptualization and measurement of m-commerce user satisfaction," Computers in Human Behavior (23:3), 2007, pp 381-398.
Wang, Y. S., Wang, H. Y., and Shee, D. Y. "Measuring e-learning systems success in an organizational context: Scale development and validation," Computers in
Human Behavior (23:4), 2007, pp 1792-1808.
Wixom, B.H., and Todd, P.A. "A theoretical integration of user satisfaction and technology acceptance," Information Systems Research (16:1), Mar 2005, pp
85-102.
Workman, M. "Expert decision support system use, disuse, and misuse: a study using the theory of planned behavior," Computers in Human Behavior (21:2), Mar 2005, pp 211-231.
Zhang, D. "Web based question answering with aggregation strategy," Advanced Web
Technologies and Applications (3007) 2004, pp 353-362.
Zviran, M., Pliskin, N., and Levin, R. "Measuring user satisfaction and perceived usefulness in the ERP context," Journal of Computer Information Systems (45:3), Spr 2005, pp 43-52.
計畫成果自評：
本研究計畫成果最後產出一個具有高信效度的問答系統滿意度量表， 達成預期研究目標。藉由本研究所提出的問答系統滿意度評量模式，可以解 釋及預測問答系統使用者使用行為與使用者滿意度。本計畫成果可以成為問 答系統研究開發人員發展問答系統的使用者角度設計參考，以強化問答系統 的使用者滿意度。 本計畫研究成果已成功發表於國際學術研討會及投稿至國際期刊。 Min-Yuh Day, Chorng-Shyong Ong, Wen-Lian Hsu, "QuestionClassification in English-Chinese Cross-Language Question
Answering: An Integrated Genetic Algorithm and Machine Learning Approach", Proceedings of the IEEE International Conference on Information Reuse and Integration (IEEE IRI 2007), Las Vegas, Nevada, USA, August, 13-15, 2007, pp. 203-208. (EI)
Chorng-Shyong Ong, Min-Yuh Day, Wen-Lian Hsu, "The
measurement of user satisfaction with question answering systems", (submitted).
出席國際會議研究心得 此次參與由中國北京交通大學主辦的第十三屆海峽兩岸資訊管理發展與策略學術研討 會，在這研討會中共分五大部分，其主題分別為：企業資訊化、電子商務與電子政務、計算 機與網路技術、商務智能與數據挖掘、及其他等五大主題部分。此次研討大會共有四百多篇 投稿，130 篇被接受，所有被接受錄用之會議論文並由「電子工業出版社」出版「信息管理 前沿理論與技術研究—第 13 屆海峽兩岸信息管理發展與策略學術研討會論文集(Advances un Information Theories and Technologies—Proceedings of 13th Cross-Strait Academic Conference on
Development & Strategies of Information Management)」。在這五大主題下分別有多篇的論文發
表，從所發表的論文中可體會出在各主題的學術發展與主要議題，這對研究是有相當的助益。 此次研討會我亦有一篇論文被接受，又在這研討會中亦使我認識了相當多的研究者，藉此機 會彼此交流研究心得。這亦要感謝國科會給我這個機會，亦希望有機會能多參與研討會，進 而提昇研究品質。
