• 沒有找到結果。

系統可用性尺度量表(SUS)比較分析結果

5.4 實驗結果分析與討論

5.4.3 系統可用性尺度量表(SUS)比較分析結果

為了協助相關研究者使用與解釋系統可用性量表結果,Bangor 等人將分數分為五個等級

(如圖 34):70 分以上為可接受範圍(C score),72 分以上為好(good),85 分以上為 優等(excellent),100 分為最好(best imaginable)。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

65

圖 34. 系統可用性量表分數等級解釋圖

本研究在第一階段,受測者完成引導式任務填寫的問卷之平均分數雖不及 70 分的 可接受範圍,但超過了及格分數的標準,表示基本在熟悉系統介面的部分對受測者並沒 有造成太多的困難。而第二階段,在沒有主試者的輔助下,受測者親自操作系統,每位 受測者都使用超過 30 分鐘以上,此時的 SUS 平均分數到達了 72.50 分,整體分數上升 了 3.57 分,根據分數等級,到達了好的評價,且標準差較第一階段為低,表示受測者對 於系統的感受是較為相同的。

以下我們將針對問卷內容結果進行個別問題分析探討,在此之前我們先將系統可用 性尺度量表的題目進行分類,以便之後的討論,我們將評估使用者滿意度(Satisfaction)

的第 1, 9 題歸為一類;評估系統可學習性(Learnability)的第 2, 4, 7, 10 題歸為一類;評 估系統的效率性(Efficiency)的第 3, 8 題歸為一類;評估系統的整合性(Integrity)的 第 5, 6 題歸為一類。分類說明如表 10:

(Integrity)

5. 我覺得這個系統的功能整合得很好。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

67

根據表 10 的分類,我們依序討論各分類下的問卷結果,並將第一階段與第二階段 相互比較進行探討分析:

表 11. 問卷評分—系統滿意度結果

1. 我會願意經常使用這個系統。 平均值 標準差

第一階段結果 4.57 0.49

第二階段結果 4.43 0.49

9. 我很有自信能使用這個系統。 平均值 標準差

第一階段結果 4.14 0.35

第二階段結果 4.14 0.35

圖 35. 受測者問卷—系統滿意度結果

從表 11 可以看到第 1 題中,受測者對於是否願意經常使用本系統的平均分數是下 降的,在兩階段的標準差相同的情況下,代表有些受測者的意見是相反的,從圖 35 可 以看到受測者 A、E 在兩階段的評分皆從「非常同意」降至「同意」,訪問發現,受測者 A:「在一開始(第一階段)用的時候覺得介面直覺操作,圖像都是平常會看到的,但後 來(第二階段)覺得我可能要對這個主題(事件)有初步了解我才有辦法經常使用他,

在使用(名詞共現)關係圖的時候,我很多人物不認識。」,而受測者 E 則是表示:「一

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

68

開始(第一階段)覺得功能面面俱到,但後來實際用過覺得經常性可能不會那麼高,因 為他只關注 Twitter,剛剛掃了一下裡面滿多轉發重複的推文,信息量比較不夠。」。從 受測者 A 的意見在使用者對於該事件不太熟悉就要撰寫報導的時候,需要加上一些輔 助的額外資訊,例如該人物的背景資料,這部分可以利用維基百科提供的 API 查詢人物 資訊加以改善。而受測者 E 的回饋提供我們未來可以擴增內容豐富度的方向,不同的社 群媒體要導入 Story Elements Model 有許多要考量的重點,例如該社群媒體是否有提供 API?在返回的資料欄位屬性是否具備可參考價值?要如何結構化該資料內容?等等。

另一方面,受測者 C、D、G 皆在第二階段給了「非常同意」的高分,而受測者 C 從「同 意」的評分到「非常同意」,他表示「用過熟悉之後就會去適應這個系統,找到想要找到 的東西。特別喜歡 Keywords Model,一開始看覺得這個圖有點複雜,但後來用的時候覺 得這樣的著色,視覺化的設計是滿有意義的,尤其能看出在主題相交辭彙的關係,而且 看到的關鍵字我覺得很準,是真的還滿 key 的,在找議題的時候很快。」,從受測者 C 的 回應可以感受到其對本系統的肯定。在第 9 題的部分,每位受測者的意見在兩階段並無 差異,並且分數都是較高分的,我們可以認為受測者們在使用本系統是感到自信且愉悅 的。整體上,本系統的滿意度是正面的評價,我們可以幫助使用者完成任務,大部分使 用者表示繼續使用本系統的意願。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

69

表 12. 問卷評分—系統可學習性結果

2. 我覺得這個系統過於複雜。 平均值 標準差

第一階段結果 3.00 0.53

第二階段結果 2.43 0.49

4. 我想我需要有人幫助才能使用這個系統。 平均值 標準差

第一階段結果 2.71 0.88

第二階段結果 3.00 0.76

7. 我可以想像大部分的人很快就可以學會使用這個系統。 平均值 標準差

第一階段結果 3.29 0.70

第二階段結果 3.71 0.88

10. 我需要學會很多額外的資訊,才能使用這個系統。 平均值 標準差

第一階段結果 2.71 0.88

第二階段結果 2.43 0.73

圖 36. 受測者問卷—系統可學習性結果

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

70

第 2 題、第 4 題及第 10 題為負向題,第 2 題的平均分數從 3.00 分降低為 2.43 分,

可以看出受測者在第二階段完成任務後,大多數的受測者認為「系統熟悉過後,就不覺 得複雜了。」、「複雜性在熟悉過後是有降低的。」而第 4 題的評分普遍的評分是上升的,

受測者 E:「對一些地方還有疑問,一些不太順手的地方想要問人,在一開始探索的時候 還可以,但在我需要聚焦的時候,可能會需要別人的幫助。」,受測者 B:「其實不太懂 Tags Zone 調整的含意。」,受測者 C:「在引導教學的時候覺得 tags 的概念很順,但後 來覺得不太理解,所以有提問確定用法,覺得其他人可能會覺得 tags 的概念有點抽象」, 大部分的意見是因為介面設計混淆了受測者,無法透過一次引導式任務就瞭解如何使用,

因此我們需要再改善部分介面的操作方式。而受測者 F 是唯一一位過去沒有視覺化網絡 分析經驗的受測者,因此他認為「一開始覺得需要(額外資訊),但後來自己用的時候沒 有特別去査什麼。」,這表示就算是過去沒有相關經驗的受測者,也可以透過我們的系統 去完成目標。第 7 題為正向題,如同第 2 題的想法,大部分受測者認為系統容易上手,

熟悉過後就不會覺得系統複雜了。整體上,本系統的可學習性是平易近人的,大體的操 作方向對使用者來說不難理解,且在熟悉過後,可以更善用本系統的功能,在部分的介 面改善後相信可以得到更好的結果。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

71

表 13. 問卷評分—系統效率性結果

3. 我認為這個系統很容易使用。 平均值 標準差

第一階段結果 3.71 1.03

第二階段結果 4.29 0.45

8. 我覺得這個系統使用起來很麻煩。 平均值 標準差

第一階段結果 2.29 0.45

第二階段結果 2.00 0.53

圖 37. 受測者問卷—系統可用性結果

雖然本系統提供的功能較為複雜,但大部分的使用者在經過第二階段親自操作熟 悉後,會覺得是容易使用的系統,受測者 B:「一開始熟悉介面的階段,會覺得功能太 多了,所以覺得有點難掌握,後來知道這個系統的限制之後,就不會針對他的限制去 鑽牛角尖,適應後就會覺得容易使用。」、受測者 G:「系統在找線索的時候很方便,

可以收集到素材區作正反方對比,特別喜歡這個功能。」,在第 8 題的評分本系統也得 到較為正向的分數,大部分的人不覺得本系統的操作是麻煩的。

‧ 國

立 政 治 大 學

Na tiona

l Ch engchi University

72

表 14. 問卷評分—系統整合性結果

5. 我覺得這個系統的功能整合得很好。 平均值 標準差

第一階段結果 4.43 0.49

第二階段結果 4.00 0.53

6. 我覺得這個系統有太多不一致的地方。 平均值 標準差

第一階段結果 1.86 0.64

第二階段結果 1.71 0.45

圖 38. 受測者問卷—系統整合性結果

在第 5 題的評分大多數是下降的,表示本系統在整合的地方還有需要加強的空間,

在 Story Elements Model,受測者 C 表示「覺得 Keywords Model 跟 Noun Co-Words Model 是不是可以結合,因為用了 Keywords Model 就沒有去用 Noun Co-Words Model,是不是 名詞對我來說不是很重要,但覺得 Noun Co-Word 的子網絡設計很好」,主試者實際在觀 察也發現大多數的受測者在使用本系統的時候,都會比較偏向使用兩者中其中一個模型,

而不會兩個都利用,對於受測者來說看得到意義最重要,那他是因為主題模型的結果或 是共現關係而浮現的比較沒那麼重要。另外,受測者 D 的評分也是下降的,其表明「我 對這個資料集算熟悉,我一開始就有想看的東西,所以只有用 Time Model 就寫出報導,

度探索的四個 Story Elements Model,受測者們對於可以直接看到視覺化網絡圖表示肯 定,受測者 A 表示其在之前使用 Gephi[37]畫過網絡圖,Gephi 是一套開放的網絡分析領