第四章 系統評估結果
第一節 第一階段評估
在第一次階段的評估中,研究者邀請 13 位正在實習中的實習教師作為受試者,先 給予實習教師一人一台 PDA 進行約 30 分鐘的實際操作,再發放問卷請受試者填寫以評 估系統介面的使用性和使用後的感受,此部份問卷共有 26 題選項式問題以及三題開放 式問題(見附錄三),其中選項式問題以 Likert 五點量表計分,以 1 分至 5 分代表受試 者同意的程度。待受試者填寫完問卷後,即進行焦點團體訪談,由研究者全程錄影,並 於事後分析影片內容,從中歸納受試者在使用時遭遇到的困難,以及系統發生的錯誤情 況。
一、 第一次 ASSIST 使用者評估問卷結果
研究者統計 13 位受訪實習教師填寫的評估問卷,可以得到受試者對於 ASSIST 系 統滿意程度的量化資料,(以 1 分到 5 分代表從非常不同意到非常同意),表 4-1-1 為第 一階段使用者評估問卷的描述性統計資料。
43
44
45
表 4-1-3 第一次問卷各向度平均分數表
向度 題數 平均數
對 ASSIST 系統功能的感受 20 3.82 對 ASSIST 系統介面操作的感受 6 3.96
註: 1.0 = 非常不同意、5.0 = 非常同意
而在使用者評估問卷後設有三題開放式問題,分別為「對於 ASSIST 系統功能的修 改意見」、「對於 ASSIST 系統介面的修改意見」以及「其他意見」共三題,以下分別依 照題項詳述:
(一)對於 ASSIST 系統功能的修改意見
在整體系統功能上的感受方面,受試者的回答顯示其對於 ASSIST 系統功能的認同。
大致上很不錯,希望系統可以繼續加油。(受試者 1)
使用功能時介面很流暢。(受試者 4)
在行事曆的部分,許多受試者希望對於自行設定的行程安排能具有提醒的功能,例 如鬧鐘、震動等,才能達到不會錯過重要課程或工作的目的。
行事曆應該要設有鬧鐘。(受試者 1)
行事曆可以附加鬧鈴功能,會跳出提醒這樣子。(受試者 10)
行事曆功能是否可以在使用者保持登入時以「跳出的小視窗」顯示提醒。(受試者 11)
課表應該要有提醒上課的功能。(受試者 13)
也有許多受試者提出時間不能自由編輯的問題,由於每位實習教師實習的學校不 同、實習的學生年級不同,上、下課時間會有些許差異,同時也缺少新增某些時段的時 間起迄點,此部分的個人化程度顯得不足。
46
行事曆的時間不能修改(如可以自由調整早自修時間的起迄),也希望可以加入下課的時間,例如
有時候有學生會下課來問問題。(受試者 4)
行事曆的時間只有導師時間,建議可以增加午休和午餐時間等。(受試者 5)
行事曆的時間設定希望可以自由更改,因為每間學校時間有差,像我就希望可以增加下課後的課後
輔導時間。(受試者 7)
行程時間的開始和結束時間會與學校有所不同,也無法修改。(受試者 8)
課堂時間可增加調整功能,每間學校上課時間不同,且此系統沒有午休和午餐時間。(受試者 9)
建議課堂時間可由使用者自訂。(受試者 12)
行事曆時間表可以增加午休的欄位。(受試者 13)
在座位表功能的部分,受試者最常提出的意見為希望可以整合行動載具拍照的功 能,將學生的大頭照或整個班級的座位圖利用照片記錄下來,能讓使用者直接用照片去 比對人名,也有受試者進一步提出希望學生的資料欄位可以增加,例如個性、擔任的職 務、家長的狀況等等。
座位表的照片應該可以直接拍比較方便。(受試者 1)
如果 PDA 有照相功能,可以新增一個相對的功能到座位表上,當點擊學生欄位時可以立即顯示圖
片,會更快幫助老師認識學生。(受試者 2、受試者 11)
座位表無法上傳照片,很可惜。(受試者 4)
座位表希望可以直接 show 出照片和名字。(受試者 9)
座位表應該要能讓照片和學生名字互相對照。(受試者 10)
學生資料旁希望可以多增加照片、個性、擔任的職務、家長狀況等等的欄位。(受試者 12)
另一方面,也有部分受試者表示由於學生座位經常更換,產生實習教師難以牢記每 個班級的學生的問題;也有受試者提出無法分辨教室前後的問題。
座位表經常要重排的問題。(受試者 1)
47
學生每週都會換位置,需要可以一次移動整排座位的功能。(受試者 3)
座位表可顯示講台位置.方便判斷前後。(受試者 5、受試者 13)
座位表能否加入快速調動功能,不用每次換位置都要重新輸入。(受試者 6)
在觀察筆記與省思筆記的部分,受試者則提出不同的個人化需求,對於功能的建議 較多元化。受試者提出修改建議相同的部分包括:應該可以讓使用者自行修改紀錄的時 間,如同行事曆的部分,因為每間學校的上、下課時間並不相同,此功能不夠具有彈性;
下拉式選單所建議之快速紀錄內容不能新增項目,希望可以進一步將自己手動記錄過的 觀察筆記內容記憶為下拉式選單的選項之一,減少下次輸入的麻煩。
觀察筆記和省思筆記裡的紀錄建議可以將打過的內容做成下拉式選項,下次遇到相同的事情就可以
直接紀錄了;紀錄筆記的時間也可讓使用者自行設定,防止每間學校上課時間不一樣。(受試者 5)
PDA 上不能更改紀錄筆記開始和結束的時間。(受試者 2)
可以加入自己常用字句。(受試者 9)
觀察、省思筆記可否自行新增欄位,因為觀察的項目應該不只這些。(受試者 11)
觀察筆記可否讓選項更細一點,或者讓 user 自己輸入?(受試者 13)
在下拉式選單的呈現上,也有其他受試者提出不同的修改意見:
筆記內的預設選項是不是可以把下拉式選單改成按鈕式的,可是有可能頁面空間不夠?(受試者 6)
觀察筆記完成後是否可以用網誌文章的方式呈現。(受試者 12)
在留言版功能的部分,受試者建議應讓輔導教師參與,會更能增加使用的動力。
由於 Plurk、twitter、Facebook 等社群網站的普及,ASSIST 系統的留言版功能如果讓我的老師參與
會比較吸引我用。(受試者 3)
48
留言板功能能讓我的指導老師看得到,可以適時安慰。(受試者 4)
(二)對於 ASSIST 系統介面的修改意見
受試者 11 指出在整體的系統介面操作上,按鍵觸碰系統感應皆良好,對本系統表 達肯定。在修改方面,許多受試者皆提出無論在行事曆、座位表、觀察與省思筆記中皆 存在的問題,即需要檢視內容須按編輯才能進入觀看畫面,且希望能用儲存代替返回的 按鍵,以免造成使用上的錯誤與不便。
觀察筆記要觀看內容一定要按編輯才能看到,很怪,可以只用點就跑出來嗎?省思筆記和行事曆也
一樣。(受試者 1)
學生資料、個性等地方可以放一個儲存鈕。(受試者 3)
在編輯資料後,沒有儲存的按鍵,只有返回鍵,要按返回才能儲存,有時候會不知道到底有沒有存
起來。(受試者 4)
有時候要按返回(左上),有時候要按 ok(右上),位置換來換去的。(受試者 9)
觀察筆記希望點兩下就可以開啟檔案,而非按編輯;也可以用儲存鍵代替返回鍵。(受試者 10、受
試者 12)
也有一些受試者提出輸入法上的修改建議,由於 PDA 的畫面大小有限,有些使用 者習慣手寫輸入、有些使用者習慣電腦式的注音輸入、也有使用者喜好輔助字詞輸入 等,因此輸入法個人化的部分尚嫌不足。
輸入法應該要像電腦一樣有輔助選詞功能才會方便。(受試者 1)
可加入關鍵字搜尋、語音、聲控、音樂操作。(受試者 8)
可以增加自己常用的字句。(受試者 9)
另外,一些受試者也提出字體過小的問題,以及圖示不夠豐富、顏色飽和程度、表
49 格寬度等視覺化的相關建議。
色系偏淡,我希望可以飽和一點。(受試者 1)
圖示的圖片不夠豐富,希望研究者可以多增加幾個好看的圖示、背景。(受試者 2、受試者 7)
字體過小,可以增加調整字體大小的功能,若無法做到數字的精細程度,也希望可以用大、中、小
表示。(受試者 4、受試者 7、受試者 9)
可增加影音專區,分享除了文字以外的訊息。(受試者 8)
(三)其他意見
如上節所述,在使用者實際操作過 ASSIST 系統後,也有部分受試者發現一些系統 的錯誤(bugs),如受試者 2 提到若使用手寫輸入時,螢幕跳出的手寫板會導致無法將 螢幕右邊的卷軸往下拉,如果輸入的文字太多,則會看不到自己所輸入的內容;受試者 4 表示筆畫過多的中文字,在顯示上字的邊緣會模糊不清;受試者 8 也表示某些功能按 下編輯之後會有錯誤、儲存失敗、顯示舊的資料、甚至導致當機;受試者 10 指出某些 畫面顏色沒有互相對應好等程式設計上的問題,這些問題都藉由此次使用者評估而找 到,之後通知程式設計師進行討論及修改。
最後尚有一些受試者對於目前系統提供其他意見,作為未來新增、設計或修改的參 考。
可以新增精華區功能,讓新的使用者可以觀看以前使用者用過的經驗。(受試者 3)
可以增加教材分享區。(受試者 7)
可加入使用說明書。(受試者 8)
二、 訪談結果
在受試者測試系統結束後,研究者與 13 位受試者進行焦點團體訪談,訪談內容主
50
要是針對受試者使用 ASSIST 系統後遇到的問題,研究者再選擇有必要進一步了解的部 分進行詢問,此外也對受試者撰寫的使用者評估問卷中最後三題開放式問題的題項細節 做深入的理解。本研究者將 DV 錄影的影片檔的重點內容轉為文字稿後,將訪談記錄編 碼分類,最後歸納出「系統整體的使用觀感」、「系統能幫助實習的部分」、「系統功能的 建議」以及「系統介面的建議」等四部分,以下針對此四個方面的結果做重點說明。
要是針對受試者使用 ASSIST 系統後遇到的問題,研究者再選擇有必要進一步了解的部 分進行詢問,此外也對受試者撰寫的使用者評估問卷中最後三題開放式問題的題項細節 做深入的理解。本研究者將 DV 錄影的影片檔的重點內容轉為文字稿後,將訪談記錄編 碼分類,最後歸納出「系統整體的使用觀感」、「系統能幫助實習的部分」、「系統功能的 建議」以及「系統介面的建議」等四部分,以下針對此四個方面的結果做重點說明。