• 沒有找到結果。

實驗設計

在文檔中 中 華 大 學 (頁 55-60)

第五章 實驗設計與分析結果

第二節 實驗設計

為了能夠驗證 iCSR 帄台架構的可行性與執行效率,本研究採用實地實驗法將 iCSR 帄台進行實際開發以及驗證。相較於調查法,實驗法擁有更完整的控制能力與 解釋效果,而實地實驗法的概化能力又更優於傳統的實驗室實驗法,更能確保 iCSR 帄台後續的概化能力。本研究目前主要是以實驗室實驗法進行,以大學生和研究生為 主要研究對象,共 20 位,再加上 5 位高中生與 5 位 30 歲以上之社會人士,實驗分為 實驗組與對照組,性別比例分佈為男生為 16 人(53.3%)女生 14 人(46.6%)。因為 iCSR 帄台主要是遵循個案推導法予以開發實作,因此本研究將先為雲端服務軟體建置為個 案庫。在這個階段,即已初步的完成了研究目的之一的知識管理的部份功能。而後續 的 iCSR 實驗都將植基於這些個案庫的建立,加以驗證 iCSR 帄台的可行性與效率。

最後,本研究也將輔以個案法與焦點團體法,收集使用者的回饋,以彌補實驗法中意 見回饋不足的缺點。在質性訪談部份也將收集使用者在進行 iCSR 帄台操做的接受度 與心理情感及態度的轉變,供做後續 iCSR 帄台改良功能的依據。

表 11 指派任務 指派任務

任務 1 假設最近公司辦了員工旅遊,拍了許多的照片,想把照片分享給大家,但 是逐個複製又有點麻煩,所以公司決定使用相片共享的軟體,於是上司要 求你去尋找一個以相片共享為主的雲端軟體服務,但是要有聯絡簿功能

46

表 12 指派任務(續) 指派任務

任務 2 假設最近公司之前所買的文書處理軟體版本已經過舊,想換新一點的版 本,但是無奈最近公司經費不足,所以上司要求你去尋找一個以文書處理 為主的雲端軟體服務,但是要有 word 功能,而且要是免費的

任務 3 假設最近公司發現員工開會時間都會搞混,所以決定引進一個線上行事曆 或是線上排程的軟體,必且要有活動的功能,這樣在開會前一天這個軟體 就會自動寄信給員工提醒他們明天開會的細節

任務 4 假設最近公司要成立一個新的子公司,但是經費不足,所以子公司的電腦 買不起作業系統,所以上司就要求你去替公司找一個免費的雲端作業系統 任務 5 假設公司員工常常需要到別的地方去開會,但是又不是每一個人都有筆記

型電腦,所以大家建議公司使用一套網路式桌面的軟體,因為網路式桌面 的好處就是即使使用不同電腦,只要可以連上網路,依舊可以使用你的個 人化運算環境

任務 6 假設公司已經成長到某一個階段了,所以公司決定要購買雲端資料庫這個 服務,方便存取資料

任務 7 假設現在你的老闆給了你很多數據或是資料,叫你整理過後利用電腦將這 些數據或是資料給分析完,但是你的電腦硬體跑完這些資料必頇花費 1 個 禮拜,所以你就需要運算這個服務來幫助你

實驗施測之前本研究已經先預設好了 7 個指派任務供受測者抽籤決定個別要完 成的指派任務,如表 17 所示,表 17 中,粗體並且加底線的字為關鍵字,目的是幫助 受測者更能注意到關鍵字,圖 20 為每個指派任務共有多人抽到,可以從圖 27 看的出 來指派任務 3 較為多次,在實驗過程中,本研究發現受測者很容易抽中前一位受測者 所抽中的籤。指派任務 1 在 iCSR 資料庫中以免費為優先考量的話,可以找出 12 筆

47

個案,以下都將免費為優先考量;指派任務 2 在 iCSR 資料庫中可以找出 5 筆個案;

指派任務 3 在 iCSR 資料庫中可以找出 8 筆個案;指派任務 4 在 iCSR 資料庫中可以 找出 2 筆個案;指派任務 5 在 iCSR 資料庫中可以找出 6 筆個案;指派任務 6 在 iCSR 資料庫中可以找出 7 筆個案;指派任務 7 在 iCSR 資料庫中可以找出 1 筆個案。

圖 27 指派任務人數分佈圖

一、 iCSR 實驗施測

本研究以實地實驗法進行 iCSR 系統的可行性驗證(實驗一)、效率驗證(實驗二)。

在實驗一的可行性驗證中,本研究將先匯整常用的雲端服務軟體,並要求使用者以這 些情境進行實驗。受測的使用者將依照所抽到的模擬情境自行判斷檢索驗證特徵條件 與權重、門檻值輸入後,開始與 iCSR 系統進行推論。實驗一的整個受測過程將由同 一組中立的第三者(以減少衡量誤差)在旁記錄,記錄的資料包括了:受測者的操作情況、

系統操作時間、互動次數等數據,並報導最後成功找到符合需求之軟體,作為 iCSR 可行性衡量指標。由於受測者主要都為資管系的學生,對於雲端都有一定的認知,在 實驗一中將隨機分配的受測人數。

0 2 4 6 8 10 12 14

1 2 3 4 5 6 7

人 數

指派任務

48

實驗二將驗證 iCSR 的執行效率,因此由受測者所抽到的指派任務為主,要求受 測工程師進行指派任務的分析。而每位受測者都必需進行相同的分析操作分別為:

iCSR 系統操做以及現行的搜尋引擎 Google 關鍵字搜尋。實驗的先後順序及分組安排,

由於受測者主要都為資管系的學生,對於雲端都有一定的認知所以將是隨機安排,實 驗二儘可能的隨機化先/後執行的記憶效果(或先入為主觀念),相同地,實驗二也將 由同一組中立的第三者(以減少衡量誤差)在旁記錄受測者在不同帄台的操作情況並 記錄操作時間、互動次數等數據。最後,實驗二將報導不同帄台(iCSR 系統操做 v.s.Google 關鍵字搜尋)的雲端服務軟體成功搜尋機率以及不同帄台的效能分析(例如:

所耗費的時間、互動次數、搜尋次數等),作為 iCSR 帄台的效率衡量指標。最後,

在實驗一與實驗二的差異分析,作為 iCSR 帄台概化能力分析的指標。

在開始實驗之前,都會先向受測者說明目前實驗的目的與操作,接著進行實驗,

首先先讓受測者進行抽籤動作,以決定指派任務(詳細的指派任務列於附錄一),本研 究對於每一個雲端服務軟體都設有一個指派任務,抽完指派任務後,接著實驗組會先 使用本研究之系統再接著使用 Google 搜尋引擎,而對照組則相反,先使用 Google 搜 尋引擎再使用本研究之系統。

表 18 為初步的實驗數據。表 18 中,實驗組的先後順序,先為先使用 iCSR 再使 用 Google 搜尋引擎,後則為先使用 Google 搜尋引擎再使用 iCSR,然而對照組的先 與後則是相反,先為先使用 Google 搜尋引擎再使用 iCSR,後為先使用 iCSR 再使用 Google 搜尋引擎,推薦次數與連結次數則表示使用 iCSR 時所作的推薦次數和使用 Google 搜尋引擎時所連結的次數(包含從這個網頁中的網址連結到下一個網頁也算一 次)。由受測者參與實驗的秒數來看,實驗組的受測者不論梯次帄均秒數(207.96 秒) 跟對照組(192.66 秒)相差不多,而且推薦次數與連結次數實驗組(4.5 次)也同樣跟對照 組(3.83 次)相差不多。從實驗組與對照組的帄均可以看的出來不論是先後使用 iCSR 或是使用 Google 搜尋引擎,在總時間和推薦次數與連結次數的地方差異性不大,在 推薦次數與連結次數的地方也是差距甚小,所以本研究可以推論,不論是優先使用

49

iCSR 或是 Google 搜尋引擎不會造成太大的差異。更有趣的是,本研究發現在實驗的 過程中,優先使用 iCSR 的受測者,有些較難找到的雲端服務軟體,當受測者找了很 久找不到時,就會依照先前利用 iCSR 找出的雲端服務軟體的名稱,直接在 Google 搜尋引擎上搜尋名稱,結果當然是較迅速。

表 13 實驗統計

組別與先後順序 實驗組

先 後

對照組

先 後

推薦次數與連結次數 2.2 次 6.8 次

帄均:4.5 次

5.13 次 2.53 次

帄均:3.83 次

總時間(秒) 71.26 秒 344.66 秒

帄均:207.96 秒

302.33 秒 83 秒

帄均:192.66 秒

由實驗分析研究顯示與本研究預期結果相符,搜尋雲端服務軟體是適合使用互動 式推薦系統來搜尋。且相較於使用搜尋引擎的方式是更適合。在實驗的過程中,不論 是實驗組或是對照組的受測者,有許多人在使用 Google 搜尋引擎到一半時,若還是 找不到指派任務的雲端服務軟體,常常都會問:那我接下來要輸入什麼來搜尋,或是 找到一個網頁後,就會一直詢問:那這個算嗎。通常這些情況都是發生在一些較少的 雲端服務軟體,如資料庫、網路式桌面、雲端運算作業系統等等,相反的是,如果指 派任務中的雲端服務軟體是有很多種類的話,通常一下就搜尋的到,有些甚至比 iCSR 還快找的到,如線上行事曆、文書處理等等。

50

二、 問卷設計

本研究是採用實驗法(Experimentation)進行,本研究的問卷是以 Likert5 點語意差 異尺度(1 至 5)衡量變數(受測者使用效果)。共有 2 個構面 11 個問項,前三個問項是 在問受測者對於雲端運算的認知,後面的 8 個問項則是在問受測者對於使用 iCSR 與 Google 搜尋引擎完成指派任務的易用性(Usability)與有用性(Usefulness)。

最後詳細問卷巷附加於附錄二。由於問卷是於實驗結束後請受測者填寫,所以問 卷回收的狀況 100%。

在文檔中 中 華 大 學 (頁 55-60)

相關文件