第六章 實驗設計與結果評估
6.4 實驗評估方法與結果
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
58
6 你認為你是否可透過本系統，來完成 資料分析研究，由其中獲取資料分析 價值或是找到更多不同價值
該點最為重要，社群感測器對於受 測者，甚至是未來的使用者，是否 真的以本研究所提出之設計理念，
所打造出來的工具，其具備了資料 分析之特質，並能夠透過本系統來 完成研究，以及獲得研究價值，相 當重要，也是此次評估分析中採用 質化分析的主要原因。
6.4 實驗評估方法與結果
在此章節中，本實驗將根據 6.3 小節中由受測者中所回收的日誌紀錄表結果進行 分析。本實驗主要以質化分析方法為主，量化分析方法為輔。以下在各小節中將 依序詳細說明實驗評估方法、日誌操作紀錄編碼、功能使用紀錄分析、系統易用 性評估以及系統可用性評估。
6.4.1 實驗評估方法
本實驗評估方式，主體以質化分析方式來分析日誌紀錄表回收結果，並以量化分 析為輔，來強化質化分析結果。在日誌操作紀錄編碼部分，本實驗整理出使用實 驗的基本數據資料，並加以說明。功能使用紀錄分析，則由日誌紀錄表中檢視每 位受測者的各項功能使用情況，並加以分析。
而在最終的系統評估上，本實驗質化分析概念來自於 Carney（1990）[31]所 提出的「抽象五階梯」，並主要參考由張芬芬(2010)[32]進行調整並具體化其概念 後的「抽象五階梯」分析理論。如圖 28 所示，一階為文字化，二階為概念化，
三階為命題化，四階為圖表化，五階為理論化。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
59
圖 28、抽象五階梯(張芬芬.2010)18
圖 29、社群感測器實驗評估方法（該圖為本研究所提出之分析方法）
而本實驗在參考其理論後，進一步的融會貫通，嘗試以質化分析→量化分析
→質化分析的模式，來進行更有效且快速的質化分析評估，如圖 29 所示。第一 階段的質化分析為文字化與概念化，文字化為已回收之日誌紀錄表所紀錄之內容。
質化分析主體以文本分析為主，故文字為主要資料，更為一切分析之基礎。概念
18 本圖來源為：張芬芬, "質性資料分析的五步驟：在抽象階梯上爬升", 初等教育學刊 第三十
五期
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
掘受測者自身欲探究的分析問題。
表 10、日誌操作紀錄編碼-受測者 A
受測者 A
操作編碼 1 2
日期 103/6/8 (日) 103/6/9 (一) 啟始時間-結
束時間 23:00-23:57 10:30-11:30 選用資料集 2012 年總統大選 陳光誠事件 本次使用
目的 觀察 2012 年總統大選的使用者 觀察陳光誠事件使用者
表 11、日誌操作紀錄編碼-受測者 B
受測者 B
操作編碼 1 2 3
日期 103/6/7 (六) 103/6/8 (日) 103/6/8 (日)
啟始時間-結束時間 0:30-1:30 9:30-11:00 17:00-18:30 選用資料集 總統大選 陳光誠事件 總統大選 本次使用
目的
瞭解系統功能與操
作流程 觀察陳光誠事件的概觀 進行不同的分析嘗試
表 12、日誌操作紀錄編碼-受測者 C
受測者 C
操作編碼 1 2 3
日期 103/6/3 103/6/7 103/6/8
啟始時間-結束時間 10:00-11:00 15:10-16:30 14:00-16:00
選用資料集 總統大選 陳光誠 總統大選
‧
18:27-19:00
20:33-21-33 13:37-14:20 18:30-18:50 22:49-2:00 選用資料
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
63
在感測器參數設定方面，在建立觀測個案時，扣除套用參數預設樣板時會自 動代入參數外，主動設定感測器參數，使用率僅有 19%，且僅有受測者 A、C 使 用，且受測者 C 是於最後一次使用實驗時才使用。推測一方面應是介面設計時，
感測器參數設定位置不易被發現，另一方面應是初期嘗試新建觀測個案時，因屬 初探分析，故會較為保留，先使用系統預設的參數值，之後再根據分析結果來進 行調整。也因此可以發現事後修改觀測個案與感測器參數，其使用率則達到 70%。
但接著在重啟分析上，在進行參數修改之後，有執行重啟分析功能的僅有 44%，
受測者 A 未使用此功能，而受測者 B、C 於使用第二次後發現，受測者 D 則於 第三次使用時發現。此一因素，因屬受測者不夠了解該系統功能所造成的現象，
強化教育訓練後，即可解決此一問題。
整體功能使用率達 47%，發布設定之功能則從頭到尾未被使用，應是目前尚屬受 測階段，使用深度未達到須分享與發佈分析結果之需求，故未使用到。最後引用 受測者 B 在第二次使用實驗時所述，本系統之操作邏輯應為：「(1)創造專案→
(2)使用社群感測器→(3)圖表分析→結果不如預期→(4)修改感測器設定→(5)重 新分析→(3)圖表分析」，表示使用者依循自身想法進行操作，一開始雖不熟悉操 作流程與可使用之功能有哪些，但也可透過自身探索發掘來瞭解如何使用本系統。
表 14、各項功能每次使用紀錄表
功能項目 受測者 A B C D
使用次數編碼 1 2 1 2 3 1 2 3 1 2 3 登入 O O O O O O O O O O O 建立觀測個案 O O O O O O O O O O O 套用觀測個案參數預設樣板 X X X X O X X X O O X 個別套用感測器預設樣板 X X X X X X X X X X X 設定語系感測器參數 O X X X X X X O X X X 設定文本感測器參數 X X X X X X X O X X X 選取資料集 O O O O O O O O O O X 上傳新資料集 X X X X X X X X X X O 觀測個案修改 O X X X X O O O X X O 修改語系感測器參數 O X O O O O O O O X O 修改文本感測器參數 O X O O O O O O O X O
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
重啟觀測個案分析 X X X O O X O X X X O 個別重啟語系感測器分析 X X X X X X X X X X X 個別重啟文本感測器分析 X X X X X X O X X X O 語系感測器-類型分析 O O O O O O O O O O O 語系感測器-時間序列分析 O O O O O O O O O O O 語系感測器-社群人數比 O O X O O O O O O O O 文本感測器-詞頻統計 O O O O O O O O O X O 文本感測器-時間序列分析 O O O O O O O O O X O 文本感測器-文字網絡分析 O O X O O O O O O X O 文本感測器設定-斷詞校準 X X O X X X X X X O O 建立觀測個案參數預設樣板 X X X X X X X O X X X 建立感測器參數預設樣板 X X X X X X X X X X X 觀測個案發布設定 X X X X X X X X X X X 觀測個案參數預設樣板
發布設定 X X X X X X X X X X X 感測器參數預設樣板
發布設定 X X X X X X X X X X X
6.4.4 系統易用性評估
在系統易用性評估上，本實驗將日誌紀錄表之文本內容，將系統易用性部分進行 編碼作業，以描述性代碼（開放性編碼）方式進行編碼，並建立編碼表，請參閱 附錄一內容。我們將意見評價進行統計，如表 15 所示。在意見評價上，正面評 價為 32.97%，持平評價為 38.46%，負面評價則為 28.57%，顯示其好壞評價參半，
且持平評價所占比率為最高。其中正面評價上，其描述性代碼多為介面設計、操 作流程、感測器、直覺、順暢、好功能、節省時間等等，表示受測者對於介面設 計感到直覺，操作流程上感到順暢，感測器確實存在些好功能，而在進行分析作 業時也能有效節省時間。在持平評價上，其描述性代碼則多為介面設計、操作流 程、感測器、建議、疑問、需求，顯示受測者在操作一種新式的資料分析工具時，
因不熟悉工具特性，在面對不熟悉的功能，不確定其輸入與輸出的結果時，確實 會因此產生出許多疑問。另外在使用時，也會衍生出更多的建議以及需求，俗話 說：「買貨的人才會嫌貨。」，故其意見評價雖為持平，但本研究以正面看待受測 者所列出的建議以及需求，可作為本研究未來持續發展時的參考之用。最後在負
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
D 功能設計 11 D 參數 9 D 好功能 13 0 無 0 E 時間序列分析 8 E 未發現 12
F 觀測個案管理 6 F 不清楚 8
G 文字網絡分析 5 G 直覺 7
H 關注詞 4 H 節省時間 6
I 套用樣板 3 I 壞功能 6
J 參數預設樣板 2 J 剖析 5
0 無 0 K 熟悉 5
L 順暢 4
M 有助分析 4
N 方便 4
O 不直覺 4
P 無效分析 3
Q 初探分析 3
R 感測器結合 3
S 學習 3
T 有用分析 2
U 不順暢 2
V 驗證 2
W 獨立分析 2
X 新感測器 2
Y 快速 2
Z 文本內容 2
1 調校 2
0 無 0
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
67
圖 30、系統易用性代碼系統
持續深化評估分析，接著將代碼清單，以路徑編碼的方式，建構代碼系統，
如圖 30 所示。其中代碼路徑如只出現一次，表示其與其他受測者無共通性，故 先行過濾僅出現一次之代碼路徑。本實驗萃取路徑編碼出現機率前十名之路線，
並加以解讀，如表 17 所示。路徑編碼 A0A 出現機率最高，為 4.08%，是對於介 面設計上的建議，受測者 A、C、D 皆表示圖表分析在感測器功能選取的設計上，
不易被發現，如受測者 A 表示：「三種分析類型放在下拉選單中不容易被看見，
建議列換一個容易看見的方式」，或是受測者 D 表示：「點擊『圖表分析』後默認 進入到『語系分析』的『類型分析』模塊，會不知道其實還有提供『週期分析』、
『社群人數比』這兩個分析工具，不過，多用幾下就會發現了」。出現機率第二 名的 0AA 與第三名的 B0A 亦屬於圖表分析與操作流程上的建議，如受測者 A 表
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
6.4.4 系統可用性評估
在系統易用性評估上，本實驗將日誌紀錄表之文本內容，系統有用性部分進行編 碼作業，以描述性代碼（開放性編碼）方式進行編碼，並建立編碼表，請參閱附 錄二內容。我們將意見評價進行統計，如表 18 所示。在意見評價上，正面評價 為 60.32%，持平評價為 31.75%，負面評價則為 7.94%，顯示其系統有用性評價 相當正面，代表本系統之設計是具備有實質效益的。正面評價所占比率相當高，
其描述性代碼多為感測器、文本感測器、參數預設樣板、有用、節省時間、快速 分析等等，顯示其感測器，特別是文本感測器以及參數預設樣板的設計確實有用，
並可節省時間與快速分析。持平評價所占比率為正面評價的一半，其描述性代碼 則多為感測器、參數預設樣板、觀測個案管理、建議、剖析、期望、需求等等，
其中剖析屬於描述個人經驗與差異比較，建議、期望、需求則屬於對本系統有所 期待。故其意見評價雖為持平，但立意良好，本研究以正面觀點看待，可作為未 來研究上更進一步的重要參考指標。負面評價所占比重相當低，其描述性代碼較 無一整體性，如建議、加強、不熟悉、驗證等等，其中驗證部分可能是待加強的。
表 18、系統有用性意見評價統計
意見評價統計
正面 持平 負面
筆數 38 20 5
百分比 60.32% 31.75% 7.94%
接著本實驗將描述性代碼進行分類，共三類，如表 19 所示，以建構其代 碼清單。透過該表，發現在主旨代碼中，「感測器」出現了 21 次為最多。而在 功能代碼上，則討論較多在「文本感測器」、「參數預設樣板」、「參數」和「觀 測個案管理」上面，這些代碼顯示了受測者呼應了在系統有用性上的開放性問 題設計，將其聚焦在本系統設計之三大特性，可模組化、可重用性和可管理性 的討論上面。在意見代碼中，「有用」出現了 20 次，為最多，其他如「建議」、
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
71
Z 深入分析 2
1 新感測器 2
1 新感測器 2