第三章 研究設計與實施
第三節 研究方法與步驟
道任務,如表 6。
任務 5 因課業上的需要,我想要找「Online Information Review」期 刊,該怎麼透過師大圖書館網站找到該期刊?
透過使用性測試來衡量大學圖書館網站的實例如密西西比州立大學圖書館 (Stephan et al., 2006)。該館擬定 8 道任務來進行圖書館網站使用性測試。任務面 向涵蓋館藏檢索、資料庫、開放時間以及課程查詢等面向。
(二) 系統使用性量表
為了能夠瞭解使用者對於臺師大圖書館網站使用性滿意程度為何,並做一量 化之資料分析。本研究採用系統使用性量表(System Usability Scale, SUS)作為評 估工具。其為一廣泛使用、免費發佈且可信賴的測量工具,共有 10 道題目(如表),
透過 Likert 量表方式讓受試者圈選非常不同意、不同意、沒意見、同意以及非常 同意五個等級,是一個有效且可信賴的評估網站使用性的工具。(Finstad, 2006) 表 7 系統使用性量表內容
資料來源:Brooke, J. (1996), “SUS: a ‘quick and dirty’ usability scale,” Usability Evaluation in Industry, pp. 192
系統使用性量表的計分方式為單數題為選項減一(亦即非常不同意到非常同 意五個選項分別為 0~4 分);雙數題為五減選項(亦即亦即非常不同意到非常同 意五個選項分別為 4~0 分)。各題得分總和乘 2.5,即為該測量對象之系統使用性
量表分數,其中最高分為 100 分,最低分為 0 分。(Brooke, 1996)
透過系統使用性量表衡量大學圖書館網站滿意度的實際範例有臺灣師範大 學圖書館網站(謝建成、劉至逢,民 97),使用者透過系統使用性量表對圖書館網 站使用性滿意度進行評分,藉以瞭解使用者對圖書館網站滿意度的看法。
(三) 回溯放聲思考法
放聲思考法(Think aloud)是一個需要受試者將其解決問題或完成一個任務的 過程大聲說出來的一種方法,傳統上應用於心理學與教育認知過程研究領域。(張 家慧、陳炳全,民 91)。除了此種執行方式外,另外有回溯放聲思考法,主要進 行方式和放聲思考法相同,最大的差異在於使用者執行任務時不需說明其想法,
而是事後再進行說明、解釋。
受試者於其執行任務的過程中將其作法大聲的說出來,可直接反應其想法,
並獲得口語資料。這些口語資料只是原始資料,還需要經過確實分析與詮釋,藉 以獲得對受試者任務資料的深入理解。(Jaspers et al., 2004)
本研究為了避免受試者在執行任務的同時還要分心說明其想法,因而造成中 斷受試者操作網站的狀況,故採用回溯式放聲思考法作為口語資料蒐集的方式。
在使用性測試階段中會將受試者的螢幕操作畫面予以錄影存檔;到回溯放聲 思考階段時,則邀請受試者與研究者一同觀看錄影檔,並要求受試者說出每項任 務進行時其想法與原因,在此過程中會進行錄音,口語資料則會作為後續分析之 用。
使用回溯式放聲思考法蒐集使用者資料的有 Lee et al. (2006),於手機使用者 介面使用性評估的過程中採取回溯式放聲思考法蒐集受試者意見。當受試者完成 任務後立即進行以便收集資料。
(四) 使用者觀察
於受試者進行使用性測試時,研究者除了在一旁管控測試流程確保測試順利 進行外;還需要記錄受試者反應,觀察其在進行任務時是否產生猶豫不決或者疑 惑,並且觀察受試者遇到嘗試錯誤的狀況時有何反應,作為後續訪談時的依據。
於使用性測試中採用使用者觀察記錄相關資訊的應用實例有密西西比州立 大學圖書館(Stephan et al., 2006),於使用性測試過程中由主持人觀察受試者的一 舉一動,並加以記錄。除了記錄使用者與觀察者的評論以外,亦記錄受試者是否 猶豫不決以及於測試進行中感到挫折。
(五) 深度訪談
當受試者明顯在某些任務進行時遭遇困難,或是提出建議時著手進行深度訪 談。深度訪談的目的在於更加瞭解受試者的想法,瞭解造成困難的原因。進行深 度訪談時會將訪談內容錄音,提供後續分析之用。
於使用性評估過程中採用深度訪談法以獲取更多受試者意見的實際例子有 臺灣師範大學圖書館(謝建成、劉至逢,民 97)。透過受試者任務效能表現資料作 為挑選接受訪談之受試者的依據。
二、 研究步驟
本研究研究流程圖如圖 5 所示,共分為八大步驟,具體詳述如下。
圖 5 本研究研究流程圖
(一) 確立研究目的
首先需確定研究目的,確定要評估什麼、評估對象為何、為什麼要進行評估、
如何評估,作為研究之基礎以及建立整個研究之概覽。
確立研究目的
文獻分析
確定研究對象 與研究個案
進行前測
設計使用性測試任務 與確定問卷
論文撰寫
後測與使用性評估 成效分析 使用性測試
實施討論
使用性測試
圖書館網站 使用性改進建議
資料分析
(二) 文獻分析
透過文獻分析瞭解使用性與使用性評估的定義,並瞭解目前有哪些常用的使 用性評估方法,進行方式。並參考國內外施行圖書館網站使用性評估之案例,瞭 解使用性評估方法之優缺點與施行細節。因人力限制,主要以使用性測試為主要 評估方法,搭配放聲思考法、訪談與問卷來蒐集使用者資料。
(三) 確定研究對象與研究個案
根據研究目的,本研究主要試圖探究不同學科背景之圖書館使用者對於圖書 館使用性問題的認知是否有所差異,因研究者就讀學校之便,故以臺灣師範大學 在學學生為研究對象,各學院招募 5 名受試者進行使用性測試,共招募 35 名;
而研究個案方面,同樣因研究者就讀學校之便,挑選臺灣師範大學新版圖書館網 站作為研究個案,除了可以瞭解使用性評估實際應用於圖書館網站之成效以外,
更能將研究結果對臺師大圖書館網站維護單位提出具體改善建議。
(四) 設計使用性測試任務與確定問卷
根據文獻分析結果設計使用性測試任務,並依循臺師大圖書館網站實際情形 酌加修正,試圖讓使用性測試任務更符合臺師大圖書館網站使用性測試使用。同 樣透過文獻分析尋找適合本研究使用之問卷,使其切合研究欲瞭解的面向。
(五) 前測與使用性測試
於前測階段將所研擬之使用性測試任務實際進行使用性測試,委請臺灣師範 大學圖書資訊學研究所研究生作為受試者,藉此瞭解使用性測試任務題意是否不 清、受試者能否順利理解測試內容等。完成前測後根據受試者的反應加以修正使
用性測試任務。
(六) 資料分析
將正式施行使用性測試後所獲得資料加以分析,預計分析兩部份,首先為使 用性測試實施討論,根據實際進行使用性測試之過程,分析討論使用性測試進行 時需注意事項與意見,可作為日後持續進行使用性測試時的改進參考。
第二部份則是將所蒐集到的受試者資料進行分析,根據研究目的發掘不同學 科背景受試者對於圖書館網站使用性問題認知是否有所差異,以及瞭解現有圖書 館網站存有哪些使用性問題,提出具體改進建議。
(七) 後測與使用性評估成效分析
將資料分析階段所獲得之圖書館網站具體改進建議透過建立一原型系統 (prototype)方式,實際將現有圖書館網站加以改進,並徵求受試者進行使用性測 試作為本研究之後測。後測的目的在於瞭解使用性評估應用於圖書館網站是否具 有成效,受試者是否能夠更順利的使用修正過的圖書館網站,藉此證實於圖書館 網站進行本研究所設計之使用性評估是可行且有效的。
(八) 論文撰寫
最後將本研究研擬使用性評估的過程、實行細節以及資料分析各部份加以闡 述於論文中,試圖藉由本研究可確立使用性評估之過程,並且可作為日後施行使 用性評估之參考指引。