行政院國家科學委員會專題研究計畫成果報告
國科會專題研究計畫成果報告撰寫格式說明
Preparation of NSC Project Reports
計畫編號：NSC 91-2213-E-110-053
執行期限：91 年 01 月 01 日至 91 年 07 月 31 日
主持人：楊竹星 國立中山大學資訊工程學系
計畫參與人員：羅孟彥 曾群偉 白勝文 李志峰 溫思舜
黃碩達 陳維亮 涂嘉壽 袁嘉尚 陳姿宇
國立中山大學資訊工程學系
一、中文摘要
如何運作一個能提供良好服務品質的高效能 伺服器系統，來對外交換資訊、提供各類服務甚 或是進行商業交易，當下已成為一重要課題。然 而，由於網際網路使用的快速成長所伴隨而來如 網路壅塞、伺服器過度負載、資料擷取時間過長 等問題也同時成為相關網路服務發展的一大隱 憂。因此，越來越多的網路服務提供業者利用分 散式系統的觀念來建構他們的伺服器系統。這類 的分散式伺服器系統雖然具有較佳的價格／性 能比、可擴充性，較好的容錯能力等優點，但是 現有的分散式伺服器架構並不足以解決現今往 往服務所面臨的種種問題。 在本計畫中，我們在分散式伺服器系統的概念 上發展負載平衡器（Server Load Balancer）與分散 式伺服器管理系統兩項核心技術，並將其結合成為 一個整合性的系統，使一群性能互異的電腦整合為 一個能應付現今網路世界中各項挑戰的高效能、智 慧型伺服器系統。 關鍵詞：網際網路、伺服器系統、分散式系統。Abstract
The Internet is increasingly being used as basic infrastructure for a variety of services. A high-performance server system is the key to the
success of all these Internet services. However, the explosive growth of Internet has resulted in heavy demands being placed on Internet servers and has raised great concerns in terms of performance, scalability and availability of the associated services. A monolithic server hosting a service is usually not sufficient to handle these challenges. Distributed server architecture, consisting of multiple
heterogeneous computers that appear as a single high performance system, has proven a successful and cost effective alternative to meet these challenges. Consequently, more and more Internet service providers run their service on a cluster of servers, and this trend is accelerating.
The distributed server architecture is only an
insufficient answer to the challenges faced by Internet service providers today. The major objective of this proposal is to develop the core technologies of the distributed server architecture. These technologies will be integrated into two major parts: Server Load Balancer and Distributed Server management System. With these mechanisms, we can provide an integrated system to consolidate a group of heterogeneous computers to be a powerful, adaptive, intelligent Internet server system.
Keywords: Internet, Server system, Distributed
二、緣由與目的
網路化已是必然的趨勢，然而，現今要架設一 個網際網路伺服器系統來提供網路服務需面臨許 多嚴峻的挑戰。一個稱職的網路伺服器系統必須同 時具備高效能、延展性、高可靠性、高可及性、能 確保服務品質、系統強健性等等優點，面對現今如 此龐大的網路人口，很明顯的沒有單一的系統（無 論是高階工作站甚或是大型主機）能夠同時滿足這 些需求。因此我們必須透過伺服器系統的分散式化 來建構新一代網路伺服器。一般而言我們稱這種分 散式架構的網路伺服器為Internet Data Center，其 主要的概念是讓整個伺服器系統可以由一群經網 路互連的工作站或個人電腦系統來組成，目前中大 型的網站以及網路服務業者多採用此種架構。本質上，Internet Data Center 可以說是一個超大 型的分散式伺服器系統，除了為本身系統擁有者的 公司或廠商提供各種類型與規模的網路服務外，它 亦能針對其他無力負擔網站建置費用的中小企業 或個人提供委外服務，使其個人或商業網站能於該 超大型分散式伺服器上被建立與妥善維運。委外服 務是一個極具潛力的新興市場，我們認為如果能夠 提供保證其託管的網路服務具有高效能、高可靠 性、高可及性、服務品質確保、系統強健性等特點， 將能再為客戶提供額外的加值服務，可以提高委外 服務業者的競爭力及成長潛力。 本計畫的核心觀念即是建構在分散式伺服器 架構之上，發展負載平衡系統與分散式伺服管理系 統兩項技術。在負載平衡系統的部份，我們開發一 個高智能的網路設備，使其能夠在分散式伺服器系 統間依據負載平衡、服務分級化、服務品質確保等 機制來分配工作量，使其整體系統達到最佳效能； 而分散式管理系統部份，我們則建立一個由 50 部 電腦所組成的分散式伺服器系統，將其發展成一個 Server 並設計與實作一個分散式管理系統，使整個 分散式伺服器系統與負載平衡器系統結合成一個 具體而微的Internet Data Center 並提供一個多功能 的Web Hosting Service。
本年度計畫執行為延續計畫主持人楊竹星教 授之研究成果，針對負載平衡器與分散式管理系統 之功能擴充與效能的提升等方面進行改善，以建立 一個適用於中大型的商業性網路服務之分散式伺 服系統，此外我們也設計與實作利用硬體功能方式 支援負載平衡器以及無線行動環境下的管理系統 等議題。整體系統架構圖與負載平衡器所使用之 URL Routing 示意如圖 1~3 所示。 圖1. URL Routing 工作示意圖 圖2. Connection-Binding 連線管理機制示意圖 圖3. 分散式管理系統架構運作圖
三、結果與討論
一、負載平衡器部份Server Load Balancer
1. 功能的擴充
在過去研究所完成的Server Load Balancer 在功 能完整性上只能適用於一般性質的網站，但是並未 能完全滿足一個商業性網站或網路服務的需求，對 於一個商業性網站或網路服務，我們於本年度發展 下述的功能以符合其需要: ●網路服務本身之容錯能力 我們發現目前叢集化伺服器系統，雖然具 有節點故障容錯的機能但卻普遍存在無法提 供網路服務本身的容錯能力，換言之故障發 生當時所有在該故障節點上尚未處理完的使 用者需求將因而遺失。因此對網頁服務而 言，我們將網站內容分為Stateless Request 與 Stateful Request，當伺服器回應用戶端的 Stateless Request 時，負載平衡器會記錄回應 的資料數量，若此時伺服器節點故障時，透 過Http 協定中所定義之”Range Request”方 式，負載平衡器會向新的節點要求續傳該網 頁內容尚未回應的資料部分，使該服務不至 於因為中斷而必須重來。Stateful Request 要達 到服務容錯的困難度相較於stateless 高得許 多，其問題癥結在於每一個request 之間在伺 服器節點處理後具有”無法重來”的特性，例如 用戶在網路商店結帳過程若發生節點故障， 系統不能以Requests-Replay 的方式在新的節 點上復原該過程，因為很可能該筆交易在資 料庫的部分已經完成了，若再重來很可能就 產生嚴重的爭議，因此我們設計了 Twin-Server Protocol，如圖 4 所示，透過該協 定，讓工作伺服器與備援伺服器同時處理相 同的服務，當某一節點故障時，備援的伺服 器節點上已經完成該Stateful Request，並能迅 速回應予客戶而不影響前後相關的服務結 果。 圖4. Twin-Server Protocol ●服務品質的確保 我們設計在系統端的服務品質服務拒絕率 (Reject rate)和容錯能力之等級作為評比的參 數。對於一個網頁服務而言絕對的產能和回 應時間參數並不能保證其品質，因為每一個 服務的內容其基本特性均不相同，況且對於 商業用戶，交易的完成也比交易何時能完成 重要更多。因此我們對網頁內容與系統負載 制訂了一個差異性服務的標準，在負載平衡 器中，我們實作了一個Multiple Queue 的機制 透過分級將不同優先權的服務要求放置於不 同的Processing Queue。對於高優先序的服務 而言，為了保證其能順利被完成，我們在預 期系統負擔超過某個上限時，開始丟棄低優 先權的服務要求，以釋放出較多的系統資源 供高優先權之服務要求進行服務處理；另一 方面我們也考量到，當負載平衡器進行服務 要求許可控制(Admission Control)時會造成相 當大的Overhead，因此我們也透過與分散式 管理系統的效能監控部分協助其更有效率地 進行品質管理，我們訂定了一套校能量化與 評估的方式來決定系統整體效能狀態以決定 負載平衡器進行品質管理的適當時機降低其 Overhead。 容錯對負載平衡器而言亦如同 Admission
Control 會增加其影響，但對網頁內容而言， 許多網頁是不需要對其額外進行容錯的，特 別是stateful request，因此我們在負載平衡器 進行URL Routing 時，針對其容錯的需求亦設 計與實作分級標準，以期有效降低系統在處 理容錯時的Overhead。 2.以硬體方式支援更高效能的負載平衡器 我們研究發現，以軟體實作的方式所完成的負 載平衡器存在效能上的隱憂，對於中大型的網站及 其伺服器系統而言，它更可能反成為整體系統效能 的瓶頸，因此我們以硬體實作的方式來提高其效 能。本年度我們設計並實作完成的負載平衡器支援 硬體包括了: 封包快速驗證與分類模組。 客戶-伺服器 TCP 連線管理模組。 OSI Layer2~4 封包快速繞送模組。 二、分散式伺服器管理系統部份 以具備基本功能的管理系統為基礎，我們於本 年度計畫中擴充其功能使其成為智慧型的管理系 統，我們所完成的重點是使該管理系統具有可適 性、QOS 的支援與行動管理部分。 1.可適性 現今網際網路另一個顯著的特性是它的高突 發性，某些突發事件常造成某一網站或部份網頁內 容變得極受歡迎，因而湧進大量的使用者需求而擠 垮伺服器系統，一般稱之為Flash Crowd 效應。為 了解決Flash Crowd 效應，我們在管理系統中注入 人工智能，透過效能監控系統所回報的系統情形與 分析使其因應不同的網路狀況，自動且迅速的重新 調整系統架構以作為因應。這一個機制建於執行在 每個伺服器節點的Broker 和系統中樞的 Controller 中，當系統運行時，Broker 會監測節點本身的負載 狀況，過度負載時自動通知管理層面的Controller， 並由Controller 計算出前端的 Server Load Balancer 應如何調整工作分配，我們稱其為Content
Management。另一方面，若當某些網頁內容變得極 受歡迎時，使該服務要求大量湧入以致於無法單純 由Server Load Balancer 以調整工作分配方式來化 解，透過content 管理機制，由系統會自動的將該 熱門的content 複製到更多節點上去，讓更多的節 點來提供該網頁的服務，使得網站能對外界提供一 致性的高服務品質。
2.QOS 的支援
配合前端Server Load Balancer 的 QoS 機制，管理 系統也將提供相對應的配套機制以求能夠完整的 提供使用者服務品質的確保，整體設計如下圖所 示。 圖5. 支援 QoS 的管理機制 3.行動管理 我們為了符合商業網站”365 全年無休，24 小時 隨時上線”的特性，對管理系統增加了行動管理功 能，使系統管理者能透過行動手持設備如手機、 PDA 等對伺服器進行組態與監控，由於設備本身與 無線網路環境兩者的限制，行動管理並不能直接連 入我們既有的管理系統，因此我們於系統中增加一 行動管理閘道，負責將解析與行動環境之間的互 動，該行動閘道目前的設計與實作可支援WAP、 SMS 與 J2ME 平台的管理操作，其架構如下圖。
圖6. 行動管理閘道
四. 計畫成果自評
在本計畫執行成果，我們完成一個功能完整的 整合式系統，除了為分散式伺服器伺服器架構所用 外，這個系統為一個完整的、功能強大的Web Hosting Service 系統。我們可以將許多網站託管於 一個Server Cluster 上，藉由管理系統，管理者可以 輕易的將不同的網站內容依需要放置到不同的機 器上去，透過圖形化界面，管理者仍可以清楚的知 道哪一個網站內容分別放至於哪些機器上；系統管 理者也可以依據各個網站不同的需要以及所收取 的費用高低，分別制定不同服務品質條件的Service Level Agreement，而 Server Load Balancer 與管理系 統配合將忠實的執行此一系統政策，提供不同的服 務品質並提供網路服務所需要的可靠性、不同等級 的容錯能力、可適性、延展性等。 本計畫自91 年 1 月起至 91 年 7 月底止，具體 執行成果包括： 負載平衡器部份: 網路服務容錯能力之設計與實作 服務品質確保機制之設計與實作 以硬體方式支援之設計與實作 效能評估 分散式伺服器管理系統部份: 系統可適性機制之設計與實作 支援 QOS 的機制之設計實作 管理系統安全性之分析與評估 支援行動管理機制之設計與實作 論文發表 M.Y. Luo , C. W. Tseng and C.S. Yang,
“URL Formalization: An Efficient Technique to speedup Content-aware Switching,” Accepted for publication on IEEE Communications letters.
M.Y. Luo and C.S. Yang, “Enabling Fault Resilience for Web Services,” Computer Communications, Vol.25/3,pp. 198-209, Feb. 2002. 羅孟彥, “具可擴充性、高可靠性、與容 易管理的網際網路服務系統”, 國立中山 大學資訊工程學系博士論文。 李志峰, “在叢集式伺服器上設計與實作 一個以硬體為基礎的封包轉送機制”, 國 立中山大學資訊工程學系碩士論文。 許銘仁, “分散式網頁伺服器行動管理系 統之設計與實作”, 國立中山大學資訊工 程學系碩士論文。
五、參考文獻
[1] Digital Equipment Corporation. About Alta Vista. http://www.altavista.com/.
[2] America Online. Governor Gilmore and America Online Announce Selection of Prince William County As Site For $520 Million Tech Center. Press Release, March 10, 1999.
[3] D. Ingham, F. Panzieri, S.K. Shrivastava. Constructing Dependable Web Services. IEEE Internet Computing, Vol.4, N. 1,
January/February 2000.
[4] C. S. Yang and M. Y. Luo, Realizing Fault Resilience in Web-Server Cluster,
Supercomputing 2000: 2000 ACM/IEEE
Conference on High Performance Networking and Computing (SC 2000), November 5-10, Dallas, Texas, USA
Supporting Quality of Service in HTTP Servers. In Proceedings of the Seventeenth Annual Symposium on Principles of Distributed Computing, June 1998.
[6] N. Bhatti and R. Friedrich. Web Server Support for Tiered Services. IEEE Network,
September/October 1999.
[7] X. Chen and P. Mohapatra. Providing
Differentiated Service from an Internet Server. In Proceedings of the IEEE International Conference on Computer Communications and Networks, Boston, MA USA, October 1999.
[8] S. Chandra, C. Ellis, and A. Vahdat.
Differentiated Multimedia Web Services Using Quality Aware Transcoding. In Proceedings of the IEEE Infocom 2000 Conference, Tel-Aviv, Israel , March 2000.
[9] N. Bhatti, A. Bouch, and A. Kuchinsky. Integrating User-Perceived Quality into Web Server Design. In Proceedings of the 9th International World Wide Web Conference, Amsterdam, Netherlands, May 2000.
[10] H. Zhu, H. Tang and T. Yang. Demand-driven Service Differentiation for Cluster-Based Network Servers. In Proceedings of INFOCOM 2001.
[11] K.L.E. Law, B. Nandy, and A. Chapman. A Scalable and Distributed WWW Proxy System. In Proceedings of the International Conference on Multimedia Computing and Systems, Ottawa, Ontario, Canada, June 1997.
[12] A. Iyengar and J. Challenger. Improving Web Server Performance by Caching Dynamic Data. In USENIX Symposium on Internet Technologies and Systems, Monterey, California, USA, December 1997.
[13] V. Holmedahl, B. Smith, and T. Yang. Cooperative Caching of Dynamic Content on a Distributed Web Server. In IEEE Symposium on High Performance Distributed Computing,
Chicago, Illinois, July 1998.
[14] J. Challenger, P. Dantzig, and A. Iyengar. A Scalable and Highly Available System for Serving Dynamic Data at Frequently Accessed Web Sites. In Proceedings of ACM/IEEE Supercomputing '98 (SC98), November 1998.
[15] E. Levy-Abegnoli, A. Iyengar, J. Song, and D. Dias. Design and Performance of a Web Server Accelerator. In Proceedings of IEEE
INFOCOM'99, March 1999.
[16] J. Challenger, A. Iyengar, K. Witting, C. Ferstat, and P. Reed. A Publishing System for Efficiently Creating Dynamic Web Content. In Proceedings of the IEEE Infocom 2000 Conference, Tel-Aviv, Israel, March 2000.
[17] CISCO. Local Director. http://www.cisco.com/ [18] Nortel Network, http://www.nortelnetworks.com/
[19] Cabletron Network. http://www.cabletron.com/
[20] The IBM Interactive Network Dispatcher.
http://www.ics.raleigh.ibm.com/netdispatch
[21] Foundry Networks. http://www.foundrynet.com. [22] Lucent. WebSwitch. http://www1.bell-labs.com/
[23] Alteon. http://www.alteon.com/
[24] Arrowpoint. Cisco Content Networking Devices.
http://www.cisco.com/warp/public/44/jump/conte nt_delivery.shtml.
[25] F5Labs. BigIP. http://www.f5.com/
[26] IPivot. http://www.intel.com/network/ipivot/ [27] Resonate, http://www.resonate.com. [28] HydraWeb. http://www.hydraweb.com/
[29] C. S. Yang, M. Y. Luo, J. H. Ho, A Java-based Administration System for Distributed Web Server, Proceedings of 1998 Workshop on Distributed System Technologies and Applications, May 14- May 15, Taiwan.
[30] C. S. Yang and M. Y. Luo, Design and Implementation of an Administration System for Distributed Web Server, Proceedings of the 12th
USENIX Systems Administration Conference (LISA’98), pp. 131-140, December 6-11, 1998,
Boston, Massachusetts, USA. (Best Student Paper Award!)
[31] C. S. Yang and M. Y. Luo, A Content Placement and Management System for Distributed Web-Server Systems, The 20th International Conference on Distributed Computing Systems (ICDCS 2000), April 10-13, 2000, Taipei, Taiwan.
[32] C. S. Yang and M. Y. Luo, Efficient Content Placement and Management on Cluster-based Web Servers, The Seventh IEEE/IFIP Network Operations and Management Symposium (NOMS 2000), April 10 – 14, 2000, Honolulu, Hawaii, USA.
[33] C. S. Yang and M. Y. Luo, “System Support for Scalable and Highly Reliable Internet Services,” International Conference on Advances in Infrastructure for Electronic Business, Science, and Education on the Internet (SSGRR 2000), Jul 31 - Aug 6 2000, L'Aquila, Italy.
[34] C. S. Yang and M. Y. Luo, Building an Adaptable, Fault Tolerant, and Highly Manageable Web Server on Clusters of Non-dedicated Workstations, The 29th International Conference on Parallel
Processing (ICPP-2000), August 21-24, 2000, Toronto, Canada.
8
