系統測試與評估

本節分成四部分，第一部份說明在系統完成後所使用的測試評估方法。本研 究採用「捷思評估法」進行系統評估，透過系統化的測試評估的過程，一方面能 夠找出系統錯誤，另一方面也可以蒐集評估者的意見，作為進一步改進系統之依 據。第二部分說明本研究採用的使用者測試方法，透過使用者測試調查問卷，得 知系統是否滿足使用者需求。第三部分說明本研究實施系統評估之流程，透過一 定的程序進行專家評估後，蒐集評估結果並針對評估者提出的問題進行系統修 改，並且在擬定修改方針時與專家進行討論，以確保修改能夠解決系統問題。而 後對修改後的系統進行使用者測試，以瞭解本系統是否能夠滿足師資培育參與人 員的需求。最後說明本研究之系統測試與評估結果。

5.1.1 捷思評估法

本研究所採用的系統評量方法為「捷思評估法」，Nielsen 和 Mack（1994）指 出，捷思評估法是一般最常被採用的評估方法，透過專家的整合的設計準則

（heuristics）來評估系統，能夠發現大部分的使用性問題，其優點在於雖然評估 者數量不多，但卻能夠有效率地發現大部分的系統使用性問題，在專家發現使用 性問題的同時，也能同時指出問題發生的原因，讓系統開發者在改進系統時能夠 有所依據。根據研究顯示，捷思評估法的評估者只有一位時，只能發現約35%

的使用性問題，但是當評估者有5 位以上時，則能發現超過 75%的使用性問題；

評估者有10 位時，能發現 85%的使用性問題（Nielsen, 1994b；Athanasis & Andreas, 2001）。參與評估的專家愈多，能發現愈多的使用性問題，然而當評估者超過 5 位後，發現問題的增加比例雖然仍會增加，但是其效益卻逐漸降低。此外，Nielsen

（1994b）也指出，當評估者同時擁有使用性專業領域背景，以及所欲評估之系 統領域等雙重背景時，評估將能夠發揮最大之效益，平均每位評估者能夠發現 60%以上之使用性問題；而評估者擁有使用性專業領域，或是系統領域等單一領 域背景時每位評估者約能發現41%的問題。

有關捷思評估之準則，一般將其分為系統狀態的可視性（visibility of system status）、系統與真實世界符合（match between system and the real world）、使用者 控制與自由度（user control and freedom）、一致性與標準（consistency and standards）、錯誤防範（error prevention）、採用認知避免回想（recognition rather than recall）、操作彈性與效率（flexibility and efficiency of use）、具備美感與簡單的設 計（aesthetic and minimalist design）、幫助使用者從錯誤中認知判斷與復原（help user recognize, diagnose, and recover from errors）、提供輔助說明（help and

documentation）等 10 項（Nielsen, 1994a；Athanasis & Andreas, 2001）：

(1) 系統狀態的可視性：系統能否透過適當的回饋訊息，讓使用者瞭解目前的系 統狀態。

(2) 系統與真實世界符合：系統訊息採用真實世界中使用者熟悉的語言字彙，而 非系統導向的語言。

(3) 使用者控制與自由度：使用者在發生操作錯誤時仍能操作系統，而且不需要 額外的對話框就能靠清楚標示的離開選項來跳脫非預期之錯誤狀況。系統支 援恢復上一步（undo）與重覆上一步（redo）之功能。

(4) 一致性與標準化：系統對於同樣的元件、功能、狀態、回應訊息等，皆採用 相同的名稱與設計準則，讓使用者不會對於相同功能卻採用不同名稱與設計 的元件產生困擾。

(5) 錯誤防範：提供良好的錯誤訊息，在第一時間避免使用者發生錯誤。

(6) 採用認知避免回想：系統的物件設計容易理解，使用者不需要回想物件代表 的意義就能夠進行操作。

(7) 操作彈性與效率：系統的設計讓不論有經驗或沒有經驗的使用者都能具備一 定的使用效率，並且允許使用者調整常用的功能。

(8) 具備美感與簡單的設計：系統對話框不會包含非必要之訊息，因為額外的資 訊容易讓使用者降低對重要訊息之注意力。

(9) 幫助使用者從錯誤中認知判斷與復原：錯誤訊息以口語化的文字呈現，明確 指出錯誤，並且提供解決之建議。

(10) 提供輔助說明：雖然設計較好的系統不需要依靠說明文件就能使用，但仍有 提供輔助說明之必要。輔助說明應該簡要不冗長，能夠容易地進行搜尋，並 且針對操作任務、操作步驟說明。

針對上述捷思評估準則，Nielsen（1994a）指出專家在進行評估的時候採用尺 度量表，將使用性問題的嚴重程度分類，讓系統開發者能夠先解決較嚴重的使用 性問題，將較沒影響的問題放在後面解決。此外，Nielsen 也指出，有時系統的 使用性問題會受限於軟硬體限制而無法解決，或是必須大幅度修改系統才能夠解 決，而且，往往在解決某項使用性問題的同時，造成了另一項使用性問題的產生。

因此將使用性問題的嚴重程度分類，也有助於提升系統開發者解決系統問題之效 益，並且減少因為修改系統所必須支付的成本。

綜合以上，本研究修改林文琦（2003）編制的專家評估參考手冊，使其能應 用於本研究系統評估中。手冊內容包含系統評估的流程、捷思評估準則之說明，

以及開放意見填答，讓專家可以針對所發現的問題進行陳述。評估參考手冊如附 錄十三。

5.1.2 使用者測試

除了專家測試系統外，使用者測試也是確保系統可用性之重要環節。使用性 專家Nielsen（1994c）指出，使用性包含五大向度：學習性（learnability）、效率

（efficiency）、記憶性（memorability）、錯誤（errors）、和滿意度（satisfaction）：

(1) 學習性：代表系統是否容易學習，良好的學習性代表使用者能快速地操作系 統並完成工作。

(2) 效率：系統在使用上是否具備效率，良好的效率代表使用者能透過系統有效 率地完成任務。

(3) 記憶性：系統操作方式是否容易記憶，良好的記憶性讓使用者操作系統後，

過一段時間還能夠記得系統的操作方式。

(4) 錯誤：系統發生錯誤的機率，以及使用者能否快速地從錯誤中回復。低錯誤 率代表系統不易發生問題。

(5) 滿意度：系統給予使用者的滿足感，高滿意度的系統能夠讓使用者在操作時 獲得滿足。

根據以上所述，使用者測試的部分著重於系統是否容易學習、有效率使用、

可記憶、具備錯誤回復功能、具備高使用者滿意度等五點。本研究參考李青蓉等 人（1998）發展之的中文版互動式系統的一般使用者滿意度問卷，並修改部分內 容以將上述五個向度結合於問卷中。本研究使用者測試調查問卷為七點量表，分 為「綜合反應」、「螢幕」、「系統資訊」、「學習」、「系統性能」、與「系統功能」

六大向度共30 題，其中綜合反應部分調查使用者對整體系統之感覺，如「對此 系統的整體看法」；螢幕部分可瞭解系統版面配置是否恰當，如「螢幕的版面設 計有幫助嗎」；系統資訊則調查系統是否具備適當的錯誤回饋訊息，如「系統讓 你知道它正在做什麼嗎」；學習部分能瞭解系統是否容易學習並可記憶，如「是 否容易記下系統中的名詞和指令」；系統性能部分可得知系統是否能有效率地使 用，如「系統是否可靠」；系統功能則是調查系統是否能滿足使用者需求並解決

其困擾，如「系統是否有助於整理學習資料」。使用者測試調查問卷如附錄十四。

5.1.3 測試與評估實施流程

根據上述有關捷思評估法之內容，本研究之系統邀請人機介面領域專家以及 學習歷程檔案專家進行系統評估。專家閱讀評估指導手冊後，開始試用系統的各 種功能，若發現任何系統問題，根據捷思評估準則將問題分類並且記錄下來。而 本研究也針對需求分析得到之不同使用者需求，設計不同的任務，讓專家進行任 務操作以發現是否有任何問題產生。評估完成後，本研究根據專家評估的結果，

針對所發現的問題進行系統修改。在擬定修改方針時，將與相關領域之專家進行 討論，以確保系統之修改能夠確實解決問題。

在根據專家意見修改系統後，本研究讓未來系統可能之使用者進行系統測 試，並且透過使用者測試調查問卷瞭解其意見。使用者測試徵求15 至 25 位目標 使用者，包括師資培育學生、實習教師、正式教師、實習輔導教師、師資培育機 構教授、師資培育機構行政助理等類型。將使用者意見彙整後，與專家進行討論，

參考使用者及專家之意見進一步修正系統，以確保系統在滿足使用者需求的同 時，仍然能夠具備使用性。