第四章 實驗與評估
4.1 評估流程及方法
（Usability Testing）為評估方法。根據國際標準組織定義，易用性泛指在指定 情境條件下使用時，產品的容易理解程度、易學習程度和使用者的滿意度。易 用 性 測 試 一 般 分 成 兩 種 ： 形 成 型 測 試 （Formative Testing ） 與 總 結 型 測 試
（Summative Testing）。兩者差異主要在於實施測試的時間點，形成型測試通常 實施在產品完成之前，目的是取得實際使用的結果數據，作為產品改善的參考
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
DOI:10.6814/THE.NCCU.DCT.004.2018.B02
32
評估過程可分為兩大部分：觀察法及半結構式訪談。於測試過程中，提供 MacBookPro”13 為測試設備。首先研究方將向受測者簡要說明實驗流程，接著 介紹共同編輯工具、參與者模式的原理，以及本研究提出之開發輔助工具。說 明結束後受測者將開啟本次的實驗專案並進行工具函式庫的導入，專案中提供 前端測試檔案以利受測者直接使用，接著輔以說明文件建構起一簡易共同圖形 編輯系統，並對預設之使用者人數上限進行更動。
過程中將紀錄完成任務目標所需的完成時間，以及受測者開發時所遇到的困 難及疑問點，觀察函式庫的使用狀況狀況、是否能夠在短時間內迅速上手...等 等狀況。此階段評估旨在記錄受測者實際使用本研究提供之工具的操作狀況。
圖 4.1 實驗過程側拍
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
完成上列目標後將對受測者進行結構式的訪談，以訪談問卷的方式回答關鍵問 題，主要包括：
・函式庫的使用與架構是否直覺並容易理解？
・是否容易對功能進行擴增或者編修？
・參與者模式對整體架構的理解及開發是否有所助益？
・使用此函式庫是否對加速開發共同圖片編輯工具有所幫助？
・開發過程中遇到哪些問題？請列舉並說明之。
此外，受測者可在此階段進一步提出對此工具的問題及看法，藉此評估本研 究的目標成效，以錄音方式全程紀錄。
表4.1 流程之評估項目與預估時間 測試流程
評估項目 預估時間
說明實驗流程 3 分鐘
介紹工具函式庫 10 分鐘
導入專案 2 分鐘
任務一：建構簡易共同圖形編輯工具 （進行時間紀錄）
任務二：進行功能擴增－增加可上線使用者人數 （進行時間紀錄）
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
DOI:10.6814/THE.NCCU.DCT.004.2018.B02
34
4.2 評估對象
一般產品的完成過程中，將反覆進行數次形成型測試進行改善，於形成型測試 的階段，比起受測人數，更重視人員的背景條件。最後產品改良完成後，再進 行海量統計的總結型測試。根據 Nielsen Norman Group 在 2000 年曾提出，作為 產品的改善參考的形成型測試，每次只需要約五個符合特定條件需求的受測者 便能找出 85% 的易用性問題，以比例而言是最符合成本效益的數字[18]。在此 次實驗中，徵求了五位符合需求條件、具備程式開發經驗的受測人員進行評估。
圖4.2 受測者數量與找出易用性問題之比例（圖片來源：https://www.nngroup.com/）
研究目標希望無論使用者技術上的程度為何，都能迅速地學會函式庫的使用方 式，在短時間內開發出相關的互動創作。在評估過程中，我們徵求了五位平時 有在進行程式設計，並具備 node.js 後端服務開發經驗的受測者，三位男性、兩 位女性，年齡層集中在 23 至 26 歲之間。依照程式開發經驗多寡及熟悉度，由 淺至深分成初學者、中、高三個等級，並調查受測者是否具備開發共同編輯系 統之經驗。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表4.2 受測者基本資料
受測者 年齡 性別 教育程度 程式開發經驗 是否有開發共同編輯 系統之相關經驗
A 25 男 學士 初學者 否
B 24 男 碩士 中級 否
C 23 男 碩士 初學者 是
D 26 女 碩士 初學者 否
E 26 女 碩士 高級 否
4.3 評估結果分析
經過測試實驗我們可從記錄中得知，使用者完成實驗目標的所需時間總和皆在 四十分鐘以內。其中最長的時間總和為 38 分 16 秒，程式開發經驗為初學者；
最短時間為 16 分 37 秒，程式開發經驗較豐富，為高級者類別。而第一項任務：
建構一簡易共同圖形編輯工具，五位受測者的完成時間皆在十分鐘以內。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
DOI:10.6814/THE.NCCU.DCT.004.2018.B02
36
參與者模式欲順利啟動的步驟包含 (1) 創造一 Actor 閉包並為其命名 (2) 於 Actor 內部依照格式需求撰寫訊息內容 (3) 於適當的時機使用 init() 初始化 Actor (4) 根據所需時機或條件啟動該 Actor 的內部訊息。
圖4.4 實驗中參與者模式的啟動步驟
在前半的實作階段我們觀察到，有三位受測者在定義完訊息內容後，會宣告 Actor 本身，卻忘記進行訊息的啟動步驟。我們推測與此次實驗內容設計並無太 複雜的邏輯需求有關，使用者不需考慮太多宣告與啟動時機的問題，最後一步 驟便顯得較不直覺。另外，在實驗流程中我們發現，具備共同編輯系統開發經 驗的受測者，與開發經驗為高級的受測者，於理解問題與工具性質上的速度明 顯高於其他受測者。於訪談中得知前者在共同編輯系統的開發上遭遇過同步控
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
制問題的處理難題，而後者亦俱備處理同步控制問題及非同步程式設計的豐富 經驗。
受測者於訪談階段以五等第制的方式評分關鍵性問題，並發表過程中遇到的 難處及意見，經歸納後評估結果如下：
1. 輔助開發工具的使用及架構直覺並容易理解。
此項評分平均為 4 分，經過流程中的輔助開發工具介紹步驟後，使用者 皆認為此工具的使用方式及架構直覺且容易理解。其中兩位受測者 B 與 D 認為，
宣告 Actor 內部行為及訊息的方式略嫌複雜，希望有更簡明的方式進行宣告及啟 動呼叫，尚有改進空間；受測者 A 表示，經過說明後相當簡單易懂，但若在缺 乏口頭說明的狀況下，對於初學者而言使用的門檻難度會提升，可能會需要更 長的思考時間，建議在文件中更詳盡地介紹參與者模式的運作方式。
2. 容易對功能進行擴增或編修。
此項評分平均為 3.8 分，多數受測者者認為輔助開發工具容易對共同編輯 系統的功能進行編修，包括將其應用於互動裝置作品上；其中兩位受測者表示 希望能有將輔助開發工具與各種感應器連結的嘗試機會。受測者 B 認為由於宣 告 Actor 內部行為及訊息方式的複雜性，在有其他中介軟體可供選擇的狀況下，
可能會影響將工具應用於 IOT 相關互動裝置的使用意願。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
DOI:10.6814/THE.NCCU.DCT.004.2018.B02
38
3. 參與者模式對於整體的架構理解及開發有正面的助益。
此項評分平均為 4.2 分，各種開發程度的受測者皆認為參與者模式有助於 明確地理解各個頁面的資料管理架構及連結關係。其中給予最低 3 分的受測者 D 表示，在毫無基礎背景知識的狀況下，對於參與者模式的運作較難在短時間 內完整理解。經過討論後，對此我們推定與 Actor 宣告內部訊息的方式略嫌繁瑣 有關，使得受測者在進行各項細部調整及設定時較容易受到混肴。
4. 使用此開發工具有助於加速共同編輯系統的開發。
此項評分為 4.8 分，所有的受測者一致肯定此輔助開發工具有助於加速共 同編輯系統的開發，對於沒有共同編輯系統開發經驗的開發者十分友善，藉由 輔助工具提供的方法，能夠在短時間內架構起一共同編輯系統，而不用從零開 始從頭摸索，大幅降低了開發門檻的高度，能夠花更多心力於其他功能應用的 開發上。
‧
‧
最後，由於此函式庫以 JavaScript 撰寫，易與多媒體及網頁結合，並擁有豐 富的相關工具套件；因此除了本研究的共同創作系統外，創作者也可藉由對函
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
參考文獻
[1] Grudin, J. (1994). Computer-supported cooperative work: Its history and participation. IEEE Computer 27(5): 19-26.
[2] Karen D. Grant. Dimensions of Collaborative Work.
[3] ER Pedersen. Tivoli: an electronic whiteboard for informal workgroup meetings.
CHI '93 Proceedings of the INTERACT '93 and CHI '93 Conference on Human Factors in Computing Systems Pages 391-398
[4] JH Oh, CK Shi. Categorisation of Audience Relationship between Action and Visualisation in Interactive Art Installations. 2013 17th International Conference on Information Visualisation.
[5] Linda Candy & Sam Ferguson. Interactive Experience in the Digital Age:
Evaluating New Art Practice.
[6] http://studiobottles.net/projects/nhm/spell-on-the-city?ckattempt=1
[7] Claudia-Lavinia Ignat, Moira C. Norrie. Grouping in collaborative graphical editors. CSCW '04 Proceedings of the 2004 ACM conference on Computer supported cooperative work Pages 447-456
‧
Ensemble concurrent object-oriented graphics editor. Proc. of the CSCW’92, New York, 1992, 265-272.[10] Karsenty, A., and Beaudouin-Lafon, M. An algorithm for distributed groupware applications. Proc. of the 13th Intl. Conf. on Distributed Computing Systems, May 1993, 195-202.
[11] Sun, C. and Chen, D. Consistency Maintenance in Real-Time Collaborative Graphics Editing Systems. ACM Trans. on Computer-Human Interaction, vol.9, no.1, March 2002, 1-41.
[12] Carl Hewitt Peter Bishop Richard Steiger.A universal modular ACTOR formalism for artificial intelligence.
[13] Agha,G A. Actors: A model of concurrent computation in distributed systems.
[14] Jon Montenegro. Hive. http://www.jonjon.tv/clients/hive-interactive-art/
[15] Kanwati, R. LICRA: a replicated-data management algorithm for distributed synchronous groupware application. Parallel Computing, 22, 1992, 1733-1746.
[16] Jon Montenegro. Abyss. http://www.jonjon.tv/clients/abyss-interactive-art/
[17] Crowd Painting. http://www.crowdpainting.com/
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
[18] JAKOB NIELSEN. Why You Only Need to Test with 5 Users?
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
[19] Sandy Citro, Jim McGovern, Caspar Ryan. Conflict Management for Real-Time Collaborative Editing in Mobile Replicated Architectures. ACSC '07 Proceedings of the thirtieth Australasian conference on Computer science - Volume 62 Pages 115-124.
[20] S. Tilkov, "Vaughn Vernon on Reactive Programming with the Actor Model," in IEEE Software, vol. 33, no. 3, pp. 109-112, May-June 2016.
[21] Jason Stewart, Benjamin B. Bederson, Allison Druin. Single Display Groupware:
A Model for Co-present Collaboration. CHI '99 Proceedings of the SIGCHI conference on Human Factors in Computing SystemsPages 286-293
[22] Carl Gutwin, Saul Greenberg & Mark Roseman. Workspace awareness in real-time distributed groupware frame. HCI '96 Proceedings of HCI on People and Computers XI Pages 281-298
[23] Saul Greenberg, Stephen Hayne, Roy Rada. Groupware for Real-Time Drawing.
Designer's Guide