• 沒有找到結果。

一般使用者測試結果

第五章 測試與評估

5.3 測試與評估結果

5.3.2 一般使用者測試結果

本研究在專家評估後,進行一般使用者測試,測試進行時間為9 月初期。由 於前一小節之專家測試所邀請的專家皆為師資培育中心教授,因此本次測試之實 行者並不包含師資培育中心教授。一般使用者測試人員共有10 名,其中包含師 資培育中心助理2 位、師資培育中心學生 3 位、實習教師 2 位、正式教師 3 位。

由於本系統可透過網路進行操作,因此使用者都在自己的電腦上進行測試,並填 寫使用者滿意度問卷。

本研究使用之滿意度問卷如同5.1.2 小節所敘述,為包含六個向度之七點量 表(最低得分為1,最高得分為 7,中間數為 4),各向度之平均得分為:(1)綜 合反應:平均5.14 分,標準差.77;(2)螢幕:平均 5.36 分,標準差.93;(3)系 統資訊:平均5.11 分,標準差.65;(4)學習:平均 5.12 分,標準差.68;(5)系 統性能:平均5.23 分,標準差.57;(6)系統功能:平均 5.81 分,標準差.44。所 有項目得分都大於5,皆大於七點量表之中間數,且所有項目得分扣掉該項目之 標準差也都超過中間數,可知整體而言,大部分使用者對本研究之系統感到滿 意。使用者滿意度問卷中,各向度之得分整理於表5-2 中。

註:「*」代表專家新增之評估準則。

資料來源:本研究整理。

表5-2、使用者滿意度問卷結果(一)

向度 平均數 標準差

系統功能 5.81 .44

螢幕 5.36 .93

系統性能 5.23 .57

綜合反應 5.14 .77

學習 5.12 .68

系統資訊 5.11 .65

註:七點量表,最低得分為1,最高得分為 7。

資料來源:本研究整理。

從問卷中的題目來看,各題目之分數皆超過七點量表之中間數,而分數達到 6 以上的有「系統是否有助於得知師資培育的相關訊息(6.40)」、「系統是否有助 於整理學習資料(6.0)」、「系統提供的教學資源連結是否有幫助(6.10)」、「系統 的行政事務功能是否有幫助(6.10)」,都屬於系統功能向度。可知使用者對於系 統最滿意的部份,在於系統提供其需要之功能,例如佈告欄、歷程檔案、教學資 源、行政事務等。而相較於以上得分超過6 分的系統功能,使用者在「系統能否 促進與其他人的互動」、「系統的資料搜尋功能是否有幫助」兩題的得分皆為較低 的5.10 分,本研究推論原因,認為可能因素是目前 E-Mail 和即時通訊軟體使用 頻繁,因此系統的通訊功能所提供的幫助可能不如其他專業通訊軟體,因此得分 略低於其他項目。而本系統內由於目前現存資料並不多,使用者不容易感受到搜 尋功能提供的便利性,也導致此功能的得分低於其他項目。

相較於上述分數大於6 的題目,分數低於 5 的題目有「對此系統的操作方式

(嚴格→有彈性)(4.67)」、「螢幕的重點提示有幫助嗎(4.80)」、「系統提供的錯 誤訊息(4.78)」、「從嘗試錯誤中探索特性(4.90)」、「是否容易記下系統中的名 詞和指令(4.70)」、「附加的參考手冊、資料(4.78)」等六題。代表相較其他設 計優良之處,系統的操作方式應可更加具備彈性,並提供更多錯誤訊息,幫助使

用者能夠從嘗試錯誤中探索操作方法。此外,系統所使用的名詞和指令必須更加

綜合以上數據,可知使用者對於本系統的滿意度良好,證明本系統確實具備 在師資培育體系中使用之可用性。為了進一步瞭解使用者對於系統的意見,作為 未來系統修改時的參考資料,本研究在使用者填寫問卷的同時,也透過訪談或請 使用者填寫開放式問題,蒐集更多詳細的意見,以下就使用者對各功能之意見分 別敘述:

(1) 佈告欄功能:大部分參與測試的使用者都表示,佈告欄內容表達很明確,能 夠快速得知師資培育中心發佈之公告。但有使用者指出,佈告欄應可只顯示 標題以及部分內容,避免內容太長時,佔用過多的頁面空間。本研究認為此 建議非常有幫助,且能夠快速地修正,因此將此功能列為優先修改項目。

(2) 基本資料功能:實習教師類型之使用者表示,基本資料中的實習輔導教師 E-Mail、實習輔導教師聯絡電話等資料,應設定為不一定要填寫的項目。然 而,本研究在與師資培育中心助理及教授討論後,認為該項目可提供師資培 育中心與實習單位之聯繫管道,仍必須設定為必填項目。此外,也有使用者 指出,如果點選基本資料功能時,出現基本資料展示頁面,需要修改時再進 入資料編輯頁面,將更符合一般使用習慣。本研究經評估後認為,此種操作 流程將可減少使用者操作系統時的困擾,因此列為優先處理項目。

(3) 歷程檔案功能:大部分使用者表示此功能確實能有效提升資料整理、分類與 分享之效率。不過有部分使用者指出,要瀏覽其他使用者的歷程檔案較不方 便,只能從「最新歷程檔案」及「歷程檔案搜尋」進入,希望系統能夠提供 更方便的瀏覽機制。

(4) 行事曆功能:多數使用者認為行事曆功能的設計良好,不過記事的顯示是採 用「i」圖示代表,在剛開始不熟悉系統操作時,會無法理解圖示所代表的意 思,造成使用上的困擾。

(5) 通訊功能:許多使用者認為通訊功能的 E-Mail 不一定需要,因為使用者各有 其慣用的郵件程式。此外,部分使用者表示討論區的設置,能夠有效提升與 師資培育中心及其他使用者之間的互動品質。

(6) 教學資源功能:幾乎所有使用者都非常認同此功能的設置,認為系統提供分 類清楚並且內容豐富的教學資源,有助於學習、教學效率的提升。有部分使 用者還表示,希望能有提供教學資源的管道,讓他可以分享自己蒐集的教學 資源。

(7) 行政事務功能:師資培育學生類型的使用者表示,行政事務的「輸入學科成 績」功能非常有幫助,只要將成績輸入之後,就可以自動判斷是否達到證書 申請之標準。而師資培育中心助理也對此功能也表示非常贊同,認為以往要 花很多時間才能完成的證書製作手續,透過系統的幫助能夠非常快速地完 成。此外,師資培育中心助理表示,希望未來系統能輔助處理更多行政事務,

加強中心行政效率。

(8) 資料搜尋功能:多數使用者表示,此功能設計良好,能夠快速地搜尋到所需 要的資料。不過有部分使用者指出,有時候系統會產生系統錯誤的警告訊息,

本研究經過分析之後,已確認系統錯誤之原因並加以排除。

(9) 資料備份功能:幾乎所有使用者都認為此功能相當方便,系統自動產生備份 資料的目錄檔案,只要開啟目錄檔案就可存取所有資料,而目錄檔的格式與 系統相同,因此使用時非常熟悉,不需要再另外學習。

綜合以上,不論從問卷之統計結果,與使用者對各功能提供之意見來看,本 系統各功能之設計皆獲得正面之回應。然而,本研究經過使用者測試後也發現,

在功能操作的流程、系統功能的說明等方面,仍有需要改進之處。本小節為螺旋 模式的第十一次循環,輸出文件編號《01_011》請見附錄十二。

相關文件