研製在 iLVM 上之遠端鏡射 169
研製在
iLVM
上之遠端鏡射Design and Implementation of an iLVM Mechanism for Remote Mirror
黃文祥Wen-Shyang Hwang, 林聖雄Sheng-Hsiung Lin, 陳文平Wen-Ping Chen, 魏守仁Shou-Jen Wey *
國立高雄應用科技大學電機工程系, *工業技術研究院電腦與通訊工業研究所 Taiwan, R.O.C. simon@wshlab2.ee.kuas.edu.tw 摘要 為防止大範圍災難的發生影響企業的運作，企業大 多把重要的資料複製至遠端區域保存，若原有儲存設備 遭受重大損壞時，企業仍可透過遠端設備維持平日正常 的營運。但眾多的研究報告指出Mirror最大的挑戰是在 於WAN環境上的執行能力，若傳輸延遲時間過大則將嚴 重拖緩Remote Mirror的效率。本篇論文另行提出一個
iLVM的Remote Backup管理機制，藉由Mirror Agent探測
Local Site與數個Remote Site間讀寫傳輸速率，再依探測 結果為Local Site打造出最佳的虛擬儲存裝置，Local Site 的系統可藉此將資料分散至數個Remote Site進行備份 保存。
關鍵詞：Remote Mirror、iLVM、Logical Storage Device。
Abstract
To prevent enterprise operations from heavily suspended by disaster, most enterprises backup their important data from local site of the storage equipment to its remote site. While the local storage equipment is damaged, enterprise can still keep operating with the remote storage equipment. However, many researches point out that the greatest challenge of remote mirror is the performance on WAN environment, where the transmitting latency is very large and thus reduces the efficiency of remote mirror. This paper presents an iLVM management mechanism to improve the remote mirror efficiency under WAN environment. Mirror Agent first measures the transmitting rate of write operation between local site and multiple remote sites, and according to the measuring results it makes a best virtualization mirror storage device on local site. Therefore the storage server on local site can disperse data to several remote sites for backup.
Keyword: Remote Mirror, Mirror Agent, iLVM.
1
簡介 近年來資料的價值對企業而言，已成為公司營運不 可欠缺的因素之一，根據IDE公佈的報告表示，美國在 1990至2000年中曾發生過災難的公司，約有55%立即倒 閉；而剩餘的45%中，因公司營運資料遺失而兩年內倒 閉的公司也約有29%，最後僅有16%的公司維持能正常 運作。由此可知，為保有資料的完整性及可用性，資料 備份/復原防護機制對企業而言也是相當重要的基礎建 設。但在資料保護策略上，早期企業因成本與備份技術 不成熟等因素考量下，公司大多在Local Site直接使用磁 帶機進行備份保存。但隨著科技脈動發展，磁碟供應商 陸續突破以往技術上的瓶頸限制，使得磁碟媒體在容量 與價位上開始呈現反向變動趨勢，這樣的演變讓企業不 再侷限僅能利用磁帶進行備份，且在備份策略上能有更 多的選擇。 在Local Site所進行的備份運作，主要可避免設備故 障或人為錯誤操作所導致的資料毀損，但Local Backup 模式卻很難防範災難的摧殘。有鑑於此，把重要的資料 分存在Remote Site儲存設備上，做更深一層的保護便有 其需要。但將Local Site龐大的資料複製並傳送至RemoteSite上保存，需要相當高速的網路傳輸服務才能達成此 目標，所幸這幾年ISP對企業/個人用戶提供的網路服 務 ， 已 從 傳 統DSL或 專 線 服 務 漸 漸 汰 換 成FTTB
(Building)、FTTH(Home)及FTTS (School)等服務。這最 後一哩的網路鋪設也正式開啟低成本高頻寬的網路傳 輸環境，也開始帶動異地備援的發展。 對公司而言，皆希望Remote Backup程序能避免執 行周期間隔過長，導致與Local Site的資料差異過大。因 此一般以磁碟為基礎的Remote Backup模式中，大多採 用Mirror機制將相同的資料寫入至兩地的硬碟設備上。 但傳統Mirror機制被侷限在LAN或SAN等高速率低延遲 的傳輸環境上，若將Mirror機制擴展至WAN環境運行， 則可因兩地地理位置距離擴大，而可保證Remote Site備 援設備逃離大範圍災難機率也隨之提升。但相對Remote
Mirror機 制 也 會 因 增 長 的 延 遲 時 間 而 降 低 存 取 與
Recovery能力。
為能有效提升Remote Mirror機制在WAN環境的執 行 能 力 ， 現 今 有 許 多 研 究 與 產 品 皆 是 利 用Cluster
RAID(Redundant Arrays of Inexpensive Disks)架構來提 升Remote Mirror傳 輸 效 能 ， 但 此 架 構 僅 支 援One
Site-to-One Site，且很難提供儲存資源共享與傳輸最佳 化調整等功能。對此本文將提出不同於Cluster RAID的
Network Storage Space Management機制，此架構無論在
Journal of Internet Technology Volume 7 (2006) No.2 170 改善Remote Mirror執行效率。相關本文的管理架構將安 排在第三章中描述，而在第二章將完整介紹Mirror與 Storage Management等背景技術，此外會在此章節中簡 述現今較有特色的Mirror應用研究與產品，在第四章將 針對本文所提的管理架構進行一系列的實驗，最後則是 本文結論及未來研究方向。 2 背景技術 2.1 Mirror機制 “Mirror”機制顧名思義，就是讓兩個以上的硬碟如 照鏡子般呈現相同的資料配置。這樣做法最大好處其可 避免其一的硬碟遭受毀損時，另一者仍可持續運行避免 公司資料遺失或停止作業。但由於Mirror機制在同一時 間牽扯至兩個以上的硬碟讀寫動作，因此在執行Mirror 機制前須規定所有成員的讀寫順序，一般較為常見的作 法是將磁碟裝置區分為Master 裝置與Secondary裝置。 當 System I/O Request 發送寫入訊息時，必先寫入至
Master 磁碟裝置，其次再複製I/O Request訊息轉送至
Secondary 磁碟進行相同寫入動作。此外Mirror在讀寫 動 作 上 可 區 分 成 同 步 (Synchronous)、 非 同 步
(Asynchronous)與半同步 (Semi- synchronous )三種模 式，而這三種傳輸模式其最大的差異便在於裝置寫入回 覆的處理策略不同：
同步Mirror－ Mirror Operator 在複製I/O Request請 求訊息時，便轉送至所有參與成員進行相同讀寫運 作，爾後所有成員完成運作後，便各自向 Mirror
Operator回應，Mirror Operator確認所有成員皆回應 才進行下次的讀寫。以確保Mirror Pair的裝置資料均 保持一致。
非同步Mirror－ 非同步Mirror模式與同步Mirror模 式最大的差異，其在於Mirror Operator只需收到其一 的成員回應便可進行下次運作。因此當 Mirror Pair 其中一者處在貧乏的傳輸環境中，非同步Mirror此種 做法在於資料讀寫效率上遠比同步Mirror出色許多。 半同步Mirror－ 半同步Mirror整體動作流程非常相 似於非同步Mirror機制，但半同步 Mirror將另行配 置Mirror違約紀錄門檻值，若違約總數超越系統設定 的門檻值時，Mirror Operator將全面核對Mirror Pair 所有成員記載資料。此作法雖也對資料可信度造成傷 害，但卻能擔保傷害能降低到某種程度。 2.2 Storage Management機制 一般儲存裝置可區分成實體儲存裝置及邏輯儲存 裝置。實體儲存裝置即是一般人常見的磁碟、光碟等各 類型儲存裝置；至於邏輯儲存裝置則是在實體儲存裝置 與檔案系統之間擺置一個Logical View，此Logical View 將分別映射至數個實體儲存裝置空間區段。這種做法的 好處在於可將數個實體儲存裝置合併成一台巨大的儲 存裝置，或可依管理者的需求重新排列實體裝置的空間 向量，且裝置讀寫運作不會與實體裝置有太大的差異。
較廣為被人們使用的Logcial View架構有兩種，一種是
RAID機制而另一種就是LVM(Logical Volume Manage-
ment)機制。其兩者的差異在於LVM架構則是將儲存裝 置空間切割成等量的Extent，再利用三層式管理架構管 理所有磁碟資源，因此在LVM架構上可隨時新增/刪除
/修改實體與邏輯儲存裝置資訊，其LVM的運作架構以 描繪在圖一中。至於RAID架構則是則是以儲存裝置上 的Block為基本單位。並重新排列將每個Block Address 去建構出一個新的邏輯裝置。兩者機制相較起來， LVM 架構牽扯層面較為複雜因而效率表現較無RAID架構搶 眼，但LVM三層式架構卻能比RAID架構更彈性的儲 存空間管理。 2.3 相關Remote Mirror研究 為提供更有效率的Remote Mirror機制，美國密西 根大學在2002年另提出CoStore的架構，其CoStore是 規劃在Cluster Network環境，並將每台Storage Server 視為一顆磁碟裝置以based-RAID4架構組織而成。當外 界使用者需讀寫該CoStore所儲存的資料時，只需利用
NFS(Network File System) Protocol掛載其中一台Cluster
Server 便可進行資料讀寫運作。其整個 CoStore Mirror 架構以描繪在圖二中。此架構最大的特點CoStore是利 用多台Server Parallel Transmitting的方式來提升Mirror 在WAN環境上的效能表現。此外CoStore Mirror在資 料核對機制上，是採用核對兩地的Parity Server方式來 確保兩地資料的準確性，藉由Parity Code的核對，RAID
Mirror便可知道資料是否需要啟動Re-Synchronous。
圖一 Logical Volume Management運作架構
Journal of Internet Technology Volume 7 (2006) No.2
174
因此在Recovery運作時，iLVM將明顯優異於RAID機 制，關於iLVM在Recovery階段的效能表現以描繪在圖 十一中。
5 結論
本論文所提的iLVM 機制，主要是應用Sintinat研 製的 LVM 管理架構來達成在 WAN 環境上 Remote
Mirror 的資源管理，而此 iLVM 機制能依據各 Remote
Site 與 Local Site 的傳輸能力及網路存活度，調配各
Remote Site的主機所需負責的Remote Mirror空間的比 例，為 Local Site量身打造出最佳的Virtual Secondary 裝置，且能讓各Site間彼此共享各自的儲存空間資源。 此外本論文也提出適用在iLVM上的Third Mirror配置 演算法，來加強iLVM機制在WAN環境上的能力。本 文所提的 iLVM 機制與密西根大學所提的 CoStore 機 制、Yotta Yotta所提的NetStorage機制相比，其最大的 差異點在於iLVM機制皆能適用在LAN或WAN的環境 上，且也能提供 One Site-to-One Site 的模式，乃至於
Many Site-to-Many Site下也皆能適用。為證明本論文所 提的iLVM機制優異於其他利用RAID達成的Mirror機 制，本論文也成功研製出一個iLVM雛型系統進行一系 列的效能測試實驗，而在這些實驗所得出的結果也佐證 出本論文所提的系統能真正有效提升Remote Mirror的 能力。 6 致謝 感謝工業技術研究院電腦與通訊工業研究所計畫 支 援 。 計 畫 名 稱 ：”研 究IP儲 存 應 用 軟 體Mirror和 Snapshot的結構和方法”。計畫編號：T1-94026-5。計劃 內容：Mirror和Snapshot是產生即時儲存備份(Backup) 的兩種重要不同技術。希望藉由此計畫了解儲存應用軟 體對於儲存系統之影響。預期效益：縮短研發儲存系統 所需應用測試程式軟體的時間，提供儲存軟體系統所需 之應用測試軟體。 圖十 RAID機制Recovery傳輸測量 圖十一 RAID機制Recovery傳輸測量 參考文獻
[1] Kai Hwang, Rai Jin and S.C. Ho, “Orthogonal Striping and Mirroring in Distributed RAID for I/O-Centric Cluster Computing”, 2002 IEEE.
[2] Yotta Yotta, High Performance NetStorage, “Data Localization and High Performance of Clustered File Systems Spanning Long Distances” October 2003 White Paper.
[3] Yotta Yotta, High Performance NetStorage, “A New Paradigm for Information and Storage Sharing”, October 2003.
[4] Yong Chen, Lionel M. Ni, Chengzhong Xu*, Mingyao Yang†, Jay F. Kusler‡, Pei Zheng, “CoStore: A Reliable and Highly Available Storage System Using Clusters”, Proceedings of the 16th Annual International Symposium on High Performance Computing Systems and Applications (HPCS.02). [5] Marc Farley “Building Storage Network ”, Second
Edition, SNIA.
[6] T. Yazaki, T. Kanetake, S. Akahane, Y. Sakata, K. Sugai, H. Yano, “High-Speed IPv6 Router/Switch Architecture”, Proceedings of the 2004 International Symposium on Applications and the Internet Workshops (SAINTW’04).
[7] Sistina Software and RedHat, “Linux LVM HOWTO” 2004.
[8] INT’L ED. “Operating System Concepts”,Six Edition, WILEY.
[9] UDI Manber “Introduction To Algorithm .A Creative Approach”, Addison Wesley.
作者簡歷 黃文祥 (Wen-Shyang Hwang)，分別 於1984、1990、1996年取得國立成功 大學電機工程學系的學士、碩士、及 博士學位。目前是國立高雄應用科技 大學電機工程系的副教授，擔任資訊 與通訊組召集人、多媒體通訊應用及 安全特色實驗室負責人等。其研究主 要在下世代網際網路的多媒體通訊之 服務品質(Quality of Service; QoS)與安全，儲存網路之儲 存架構與管理機制、光纖網路存取協定(IP over WDM、 PON)，嵌入式系統及應用等。(相關資料請參考網站: http://wshnt.kuas.edu.tw/) 林聖雄 (Sheng-Hsiung Lin)，民國 95 於國立應用科技大學電機系取得 碩士學位，在學期間曾參與工研院 iSCS儲存網路與IP資料備份等研究 計畫。其主要研究領域為 IPv6、網 路資料備份…等。
研製在 iLVM 上之遠端鏡射 175 陳文平 (Wen-Ping Chen)，民國八 十九年於國立中山大學電機研究 所取得碩士學位，目前是國立高雄 應 用 科 技 大 學 電 機 研 究 所 博 士 生。主要研究領域為網際網路、光 通訊網路、服務品質、頻寬配置… 等。 魏守仁 (Shou-Jen Wey)，民國 89 年畢業於美國俄亥俄州州立大學 計算機科學所博士班畢業，目前服 務於工業技術研究院電通所/網路 通訊技術中心，擔任正工程師一 職，而今主要研究領域為資料儲存 與備份管理。
