使用性測試

一個好個評估方法可以幫助設計師找出開發過程可能遭遇到的使用性問題 (usability problems)，然而找出使用性問題最有效的辦法之一就是使用性測試(S Lauesen, 1997)。

本節主要就是要進行 DARM 方法論的使用性測試，以驗證該方法論是否正 確完善。首先訂立口語對話的評估準則與項目，並透過實作實際個案的多代理人 系統驗證該方法論。若塑模對話代理人系統過程中方法論有所缺失，則修正方法 論以求完善。

由於方法論的建置是一種質性研究，因此採用使用性測試我們可以依照專家 的標準規則作為評估準則與項目。質性量測應包含估計或判斷參數(例如：操作 上的困難度、直覺的操作、使用者操作的方便性、普遍操作上的感覺、個人操作 上時間的感覺)作為評估指標。本研究撰寫的多代理人系統是以口語對話作為使 用者操作系統使用性，因此這套專家標準，我們採用學者 Dybkjær and Bernsen 所提出的一套全面評價使用性標準的使用性建議(Dybkjar & Bernsen, 2001)。

這套使用性建議將口語對話系統的使用性品質聚焦在下面十五條容易理解 的使用性規則來進行評估。這十五條容易使用性課題分別包括：(1)模式的適當 性、(2)輸入辨識的適當性、(3)使用者語言的自然性、(4)輸出語音的品質、(5)輸 出措辭的適當性、(6)回饋的適當性、(7)對話主控權的適當性、(8)對話結構的自 然性、(9)工作和領域含蓋範圍的充分性、(10)系統推理能力的充分性、(11)互動 指引的充分性、(12)錯誤處理的適當性、(13)適應使用者差異的充分性、(14)互動 過程產生問題的次數和(15)使用者滿意度。我們將上述提及的使用性課題繪製成 表 5.1。

表 5.1 使用性課題規則

使用性課題 使用性課題

模式的適當性 工作和領域含蓋範圍的充分性

輸入辨識的適當性 系統推理能力的充分性 使用者語言的自然性 互動指引的充分性 輸出語音的品質 錯誤處理的適當性

輸出措辭的適當性 適應使用者差異的充分性

回饋的適當性 互動過程產生問題的次數

對話主控權的適當性 使用者滿意度 對話結構的自然性

圖 5.7 就是根據精鍊後的 DARM 模型建構設計完成的輔助性對話代理人原 型。圖 5.8 個案使用 McTin 產生摩斯碼(Morse code)產生文字輸入的方式進行口 語交談。透過與輔助性對話代理人口語交談的方式可以達成家電控制，並且本研 究利用文字轉語音的技術(text-to-speech technology)搭配網路電話 Skype，使得個 案可以與朋友進行電話交談以及傳送簡訊(SMS)。利用這個技術可以讓個案改善 以往發聲的問題，更重要的是透過這種方式可以主動的提供代理人自主性的服 務，提高個案在生活上的自主性。

本方法論設計出來的輔助性對話代理人系統原型，在本研究實作後，透過觀 察該個案使用者操作後，發現個案操作上所能達成的使用性課題程度如表 5.2 所 示。

表 5.2 操作使用性課題程度表

使用性課題 程度 使用性課題 程度

模式的適當性 高 工作和領域含蓋範圍的充分性 高

輸入辨識的適當性 中 系統推理能力的充分性 中

使用者語言的自然性 高 互動指引的充分性 中

輸出語音的品質 中 錯誤處理的適當性 低

輸出措辭的適當性 中 適應使用者差異的充分性 高

回饋的適當性 低 互動過程產生問題的次數 高

對話主控權的適當性 高 使用者滿意度 高

對話結構的自然性 中 - -

透過上述的表格表示，我們發現這套系統確實可以提升使用者的生活自主 性，雖然在回饋與錯誤處理的適當性上略嫌不足而且互動的錯誤率次數也頗高，

但是不影響原先立意提高使用者的生活自主性，也因為這方面最主要是透過知識 管理的方式提昇代理人的智慧，以及代理人程式比較偏技術性上面的研究，因此 並不是本研究方法論原型測試所要探討的範圍，因此整體來看，DARM 方法論 在使用性測試上，獲得的評價是正向的。

圖 5.8 操作輔助性代理人系統原型

综合上述使用性規則在進行系統需求塑模過程中，根據上述提及的使用性課 題以實作的觀點，反覆修改規則與方法，讓 DARM 方法論更臻完善。