第四章、 研究成果: 系統實作與測試
3、 系統測試
3.5 測試結果與分析
整合測試案例共計四項,每項測試 1000 次,測試結果如表二十四。
表 二十四:測試案例結果
測試案例 測試成功 測試數量
混合雲帳號整合測試 1000 1000
混合雲單一登入測試 1000 1000
檔案同步測試 1000 1000
檔案權限管理測試 1000 1000
混合雲單一登入測試案例中,針對使用者登入系統花費時間測試結果如下,
分為以下兩種情境進行系統登入時間測試:
(1). 使用者首次登入系統
系統進行帳號驗證,並讓使用者選擇欲單一登入哪些雲端 (a). 選擇登入已認領(Claim)之雲端
計算系統分別登入不同雲端及取得該雲端 token 所花費之個別平均 時間,如下(圖四十六):
圖 四十六:不同雲端之個別平均登入時間
計算系統單一登入所有雲端及取得所有雲端 token 所花費之平均時 間: 測試 1000 次,平均時間 13.02 秒,其中平均時間的長短主要受 到 Dropbox 登入時間而影響。
(所有雲端包含 Hadoop、OpenStack、Google、Dropbox、Microsoft、
Amazon、Facebook)
(b). 選擇登入未認領之雲端
測試系統將使用者導向雲端驗證頁面,並由使用者自行登入,登入 成功後,系統取得雲端 token(測試 100 次,成功次數 100 次)。
(2). 使用者再次登入系統 系統只進行帳號驗證
(a). 計算系統進行帳號驗證,並產生系統 token 所花費之平均時間
測試 1000 次,平均時間小於 1 秒。
綜合上述,使用者首次與再次登入系統所花費平均時間的比較,如下(圖四 十七),其中首次登入系統所花費的時間,主要受到使用者單一登入之雲端數目、
網頁自動化之 Headless browser 執行效率與 OpenID Providers 驗證回應時間而影 響(以單一登入系統所支援的所有雲端為例)。
圖 四十七:首次與再次登入系統之平均時間
檔案同步測試案例中,針對新增、修改、刪除和更名的同步花費時間測試結 果如下,分為從本地端同步到伺服器端和從伺服器端同步到公、私有雲端,圖四 十八為從本地端同步到伺服器端 Swift 在各種檔案大小的四種異動所花費時間。
圖 四十八:本地端同步到伺服器端花費時間
從圖四十八可以看出本系統在同步刪除和更名事件,檔案大小對同步時間影 響不大,同步刪除所花費的時間大約是 0.1~0.3 秒,同步更名所花費的時間大約 是 0.1~0.5 秒,而新增和修改這兩種檔案異動事件,此兩者在各種檔案大小同步 時間幾乎相同,0.1MB 檔案約 0.4~0.5 秒、0.5MB 檔案約 0.5 秒、1MB 大小檔案 約 0.5~1 秒、5MB 大小檔案約 1.5~2 秒、10MB 大小檔案約 2.5~3 秒,其是因為 本系統在處理檔案修改,是以整個完整檔案重新上傳替換掉在 Swift 上舊的檔案,
在同步測試過程中自動化程式僅修改測試文字檔案的一個字元,所以傳輸的檔案 大小幾乎是相同的,故花費時間會和檔案新增同步事件相同。
從伺服器端 Sync Server 元件,同步伺服器同步到公有雲:Google、Dropbox、
Microsoft 和私有雲:Hadoop 在各種檔案大小的四種異動所花費時間如圖四十九、
圖五十和圖五十一。
圖 四十九:伺服器端同步新增、修改到雲端花費時間
從圖四十九中可以看出,系統在各種檔案大小 0.1MB、0.5MB、1MB、5MB 和 10MB,同步新增和修改到 Hadoop 最快速,是因為 Hadoop HDFS 環境是建置 於私有雲,其和本系統同步伺服器端屬於同一個內網(LAN),所以檔案傳輸較快。
本系統在同步到公有雲上的表現,可以看出花費時間最多的是同步到 Microsoft OneDrive 而最少的是同步到 Google Drive,而本系統同步到公有雲是使用其所提 供的 API,所以在相同的環境和測試條件下,同步檔案時間的差異,主要取決於 其 API 的效能。
圖 五十:伺服器端同步更名到雲端花費時間
從圖五十可以看出,檔案不管大小,同步更名到雲端所花的時間都相差不大,
其中,私有雲 Hadoop 最為快速,大約 0.5~1 秒;公有雲:Dropbox 大約是 1 秒、
Google 約 2 秒、Microsoft 約 3~4 秒。和同步新增和修改一樣,不同公有雲同步 更名檔案時間的差異,主要取決其 API 的效能。
圖 五十一:伺服器端同步刪除到雲端花費時間
從圖五十一可以看出,檔案不管大小,同步刪除到雲端所花的時間都相差不 大,其中,私有雲 Hadoop 最為快速,大約 0.7~1 秒;公有雲:Dropbox 大約是 1 秒、Google 約 1.5~2 秒、Microsoft 約 3~4 秒。和同步新增和修改一樣,不同公 有雲同步刪除檔案時間的差異,主要取決其 API 的效能。