雲端運算之節能資源分配方法

全文

(1)國立屏東教育大學資訊科學系碩士論文. 雲端運算之節能資源分配方法 Energy-efficient of Resource Allocation Method in Cloud Computing. 研究生：鄭宗庭指導教授：王朱福博士. 中華民國一百零二年七月.

(2)

(3) 誌. 謝. 學習的生涯道路中，感謝那對我無私奉獻愛的主，因著在學業路程中有祢使我更不致缺乏，這份信仰何其的寶貴。在碩士研究生活兩年的時間，藉著指導教授王朱福老師的教導及幫助之下，讓我在研究路程上做隨時的幫助及熱誠的因材施教的教學方式，使得我們都可以從不同的研究領域之下，能迅速進入開研究主題的狀況，感謝王老師的指導。在每週會議時，施釗德老師也會給予寶貴的建議及研究論文上的方向，使得我們在台上會議報告時不至於緊張而不知要如何是好，感謝施老師的教導。. 整個實驗室的氣氛及環境是個和樂感覺，與學弟妹們的相處之間有如朋友一般的互相討論及嘻笑，使得讓我們的研究生活增添不少色彩，在研究生活中增添不少風趣輕鬆許多，暘智在研究所路程上的好同學，雖各自研究領域不同，但平常還是會互相彼此幫忙也能在研究上彼此互相學習，使其研究可以更加地順利。. 感謝在研究中學妹文儀一同的幫忙及討論，討論如何將研究可以更加的完整即清楚的架構，使後續研究者可以更加得清楚一目瞭然，實驗室總是建立著一股彼此友好的情誼永遠是有歡笑的，彥勳、慈蓮和裕凱總可以讓實驗室增添了不少歡樂的氣氛，是個很棒的研究夥伴學弟妹們。. 鄭宗庭. 謹誌. 中華民國一百零二年七月五日. i.

(4) 摘. 要. 近年來雲端運算（Cloud Computing）議題持續發燒，企業將資訊系統雲端化的比率也越來越擴大。雲端運算加入了虛擬化（Virtualization）技術的概念，使得整體運算效能得以提升並降低所需的成本開銷。由於系統匯集了數量龐大之資訊設備，因此電源消耗是一個相當重要的議題。本學位論文探討在雲端運算上資源分配的問題，並將電源消耗降低以及工作任務執行品質列入主要的目標考量。亦即，當有工作任務到達雲端運算資料中心時，我們設計出一個優化管理虛擬機器的分配方法，藉由所給定以及估算出之工作任務到達時間（arrival time）、工作執行時間（execution time）、工作使用率（utilization）以及工作任務給定之完成期限緩衝（Slack time），來進行資源分配，使得總電力消耗以及超出工作任務完成期限之懲罰代價能達於最低。實驗模擬顯示所提之方法相較於其它傳統方法之效能比較上有不錯之表現。. 關鍵字：雲端運算、節能資源分配、虛擬化. ii.

(5) Abstract. Recently, the issue of the cloud computing is very popular and the ratio of the cloud information system applied in the enterprise is also increasing. The computing performance can be increased and the cost can be decreased by applying the virtualization technique in the cloud computing. The issue of the energy consumption is very important because there is large amount information equipment in the system. In this thesis, we discuss the issue of the resources allocation, energy consumption and the quality of the execution. We design an optimized method for the virtual machine allocation, when the tasks arrive in the cloud computing data center. The objective of our method aims to minimize the energy consumption and the penalty when the finishing time of the tasks beyond the Slack time. The simulation results show that our method outperformed the other traditional methods.. Keywords：Cloud Computing, Resource Allocation, Virtualization . iii.

(6) 目. 錄. 誌. 謝 ......................................................................................................................................... i . 摘. 要 ........................................................................................................................................ ii . Abstract ...................................................................................................................................... iii 目. 錄 ....................................................................................................................................... iv . 第一章. 緒論 ............................................................................................................................ 1 . 第二章. 相關工作 .................................................................................................................... 3 . 第一節. 雲端運算（Cloud Computing） ....................................................................... 3 . 第二節. 虛擬化技術（Virtualization） .......................................................................... 7 . 第三節. 動態資源管理（Dynamic Resource allocation） ............................................. 8 . 第四節. 能源管理（Energy Management） ................................................................. 13 . 第三章. 環境架構與所提方法介紹 ...................................................................................... 19 . 第一節. 環境架構及問題描述 ...................................................................................... 19 . 第二節. Job splitable allocation 資源分配方法 ............................................................ 22 . 第三節. Job splitable allocation 資源分配演算法 ........................................................ 24 . 第四章. 效能評估 .................................................................................................................. 25 . 第一節. 實驗模擬環境 .................................................................................................. 25 . 第二節. 實驗結果 .......................................................................................................... 26 . 第五章. 結論與未來工作 ...................................................................................................... 33 . 參考文獻 .................................................................................................................................. 34 . iv.

(7) 第一章. 緒論. 在這資訊發達普及的世代，透過網際網路來處理主要作業的公司也急速增加，就連一般傳統產業也陸續導入網路資訊系統架構的作業流程，因此網路互相通聯彼此互動溝通已不再是以往只有單機點對點的通訊，多人連線通訊已漸漸成為一大特點，例如：社群網站、視訊會議、線上會談、VoIP 網路電話…等。網際網路帶給人們資訊互相分享的方便性越來越高，隨著人們的需求增加，網際網路技術精進上更顯得重要，以在我們耳熟能詳的 Google 公司為例，他們在這方面上做了很大的突破和進展，Google 在網際網路上所提供的功能有線上文件軟體編輯、雲端硬碟、E-mail 收發、線上圖像編輯…等相關的線上處理作業，這些強大的功能都是屬於線上處理，這也是近幾年來的熱門話題：雲端運算（Cloud computing）。. 在雲端運算尚未盛行時，所有需要處理的程序都只能經由單機去做實體運算，因此並無法有效的進行資源分配，雲端運算則是藉由多台伺服器（Servers）組成一個叢集網路來處理所有的工作程序，同時導入了虛擬化（Virtualization）技術使得成本降低又能達到充分利用機器所有資源優點，而虛擬化技術亦允許我們可以在機器上自由的管理所需要建立的虛擬機器（Virtual Machine, VM）數量；不但如此，在虛擬機器之間還能達到資源互相共享以提高延展性，而總體電力消耗能否盡量降低，是一般在設計雲端系統之資源分配方法所需面對及克服的，如此才能達到綠能之目標。除此之外，由於雲端之資料中心係為相當大量之伺服器所組成，因此，電力消耗是當地相當大之負荷，一個有效節能之資源分配方法是相當重要之設計。. 1.

(8) 在雲端運算技術中探討節能的議題是有其必要性，本學位論文擬於資源分配及能源管理方法上深入探討如何有效降低能源消耗，但運算效能卻仍能達到服務水平協議（Service Level Agreement, SLA）以滿足使用者之需求。. 本學位論文共分為五個章節，其內容安排如下：第一章、緒論，說明研究背景、目的及論文架構。第二章、相關工作，彙整有關雲端運算和虛擬化技術以及相關資料的文獻探討。第三章、環境架構及所題方法介紹，本學位論文所考慮之雲端環境架構、相關假設，以及所提出之改善方法。第四章、效能評估，針對本學位論文所提出方法與其他方法比較並描述及呈現實驗結果。最後，結論與未來工作則至於第五章。. 2.

(9) 第二章. 相關工作. 在雲端運算主要是將需要龐大的運算工作去拆解給各個機器進行運作，經由負載平衡（Load Balancing）的概念，利用數個 VMs 進行運算，並經由數台整結果，經由這樣的方式，可以在短時間之內完成需單一台機器幾天內才能完成的工作，因此在未來雲端運算發展的時代之下，無須擔心隨著時間變化是否要增添現有的硬體資源，公司組織省下設備採購時間以及建置麻煩等問題，只需經由網際網路就可以很輕鬆租借到，隨時隨地依據需求透過安裝或移除相關管理介面，即可輕鬆達到往往需花時間思考評估的因素。在雲端運算服務當中，最息息相關的就是租借的價格與運算能力，因此在雲端運算中心都會擁有像是虛擬機器管理者的身分，可以即時監控各個運算資源服務的狀態或提供運算資源的檢測，方便系統提供者了解當下運算資源的狀況，運算資源池是否過於浪費的情形，便於計算租約的金額。最後雲端運算具備了高度的靈活性，運算服務可以供使用者迅速重新佈署所需要的服務，進而將資源共享的特性，可以在雲端運算上達到效能使用的極致。. 第一節雲端運算（Cloud Computing）雲端運算（Cloud computing）這非新穎的 IT 產業技術，卻帶動網際網路（Internet）加速發展。雲端運算是由大量的基礎電腦設備所組成的資源運算池，在此資源池包函了為數龐大之硬體運算設備處理器（CPU）、記憶體（Memory）、儲存設備（Storage）以及網路連線（Network link）而成。而從這些資源所建構出之雲端運算基礎設施進而提供應用程序、運算能力、資料儲存空間和各式的線上軟體服務。當然在這架構之下雲端. 3.

(10) 圖 1 雲端運算演進過程資料來源：資策會 MIC 經濟部 ITIS 計畫，2009 年 2 月運算從基本的網格運算（Grid computing）、公用運算（Utility computing）、軟體即時服務（SaaS）等運算技術漸漸演變成為近年來最熱門的雲端運算（如圖 1 所示）。在雲端運算架構中我們針對三大類型服務四大部屬類型的分類（如圖 2 所示）來說明雲端運算是如何來進行服務及系統架構開發的技術，以下將逐一說明。. 服務類型： 1. 軟體服務（Software as a Service, SaaS）：透過雲端技術提供應用軟體是一種新穎服務模式，對使用者來說，SaaS 讓軟體取得的成本與方式都跟以往不同，過去使用應用軟體必須先購買使用權限或金鑰，接著還要進行一堆麻煩的安裝程序，在 SaaS 模式底下可不用這麼麻煩，軟體是存在提供者的雲端上，使用者只需透過網路就能即時使用應用軟體，使用上更加的方便。. 4.

(11) 圖 2 雲端技術的服務類型及部屬架構資料來源：財團法人資訊工業策進會 2. 平台服務（Plateform as a Service, PaaS）：提供平台開發的服務，讓使用者將所要開發的應用程式可以很容易部署到網際網路上，如 Google AppEngine 或微軟的 Azure 平台，它帶給開發人員更大的方便性與靈活性，甚至能在雲端平台給予更佳的互動效果，進而帶動商機，因為所開發的應用程式無須擔心作業系統的不同，因此具有高相容性，此外，在此平台上也無須擔心運算資源不夠的問題。. 3. 架構服務（Infrastructure as a Service, IaaS）：使用者可以花費些金額租用雲端上之處理器（CPU）、儲存設備（Storage）、網路頻寬（Network bandwidth）這些基礎設施及服務。使用者不需管理基礎設施底層的雲端架構，但是卻能夠掌控作業系統、儲存、網路以及所部署的應用程式，且隨著使用者的需求來進行資料中心的資源建置。. 5.

(12) 部屬方式： 1. 私有雲（Private cloud）：由某公司獨立建置而成，在私有雲中，可以存取得到資料的只有內部人員或組織成員，他們共用該雲端運算環境所提供的所有資源，而公司組織以外的人則無法使用這個雲端運算環境。. 2. 社群雲（Community cloud）：社群雲的基礎設備是由許多利益共同的組織所掌握及管理，只要是社群成員才可使用此雲端資料及應用程式，他們擁有共同的權限，例如論壇的任務、安全需求設定和規則…等。但也可由第三方進行管理，因此可以就地部署或遠端部署。. 3. 公用雲（Public cloud）：在公用雲中，使用者所需的服務係由獨立的雲端供應者所提供。該雲端供應者也同時為其他使用者服務，藉此可以共享該雲端中供應者所提供的資源。在公有雲中並不代表絕對的完全免費使用，或許可能會有些許的收費在超出基本的資源需求後，而雲供應者會針對使用者建立使用存取權限來限制使用者查看公有雲上的任何資料或資訊。. 4. 混合雲（Hybrid cloud）：由字面上來看混和雲不外乎是兩個不同部屬類型以上組成的雲（私有、社群或公用）。一般來說，對安全性、可靠性及 IT 可監控性要求高的公司或組織，他們可自行建置私有雲提供重要性質之服務，同時亦可花費少許的經費利用公用雲將安全性等級較低的服務建構於上。. 6.

(13) 第二節虛擬化技術（Virtualization）我們先前所介紹到的雲端運算技術中最為重要的核心技術之一即是虛擬化技術（Virtualization），有了此一技術，對於資料中心所需的靈活性和即時性即可容易達成。例如：系統可動態依照需求供給運算的資源在極短時間內進行，並動態分配資源以提供運算，甚至視需要動態地達到平衡負載，這些需求虛擬化技術都可以提供這樣的靈活性。雲端運算技術中導入虛擬化技術便可為 IT 資訊產業帶來商機和優點，導入虛擬化技術不但能在基礎設備建置上節省成本又能達到靈活運用的功效。在虛擬化技術我們大致上可分為下列兩大類型[3]：. 1.. 全虛擬化（Full virtualization）全虛擬化是未經過作業系統和應用程序上來運行的一項虛擬化技術。以基礎硬體設. 施作為底層架構，再往上架構虛擬化平台（hypervisor），進而模擬出硬體來供給運算使用。如此一來，一個完整的虛擬化系統可以運行多個 Guest OS 在基礎硬體設施上。在這種狀態下，使用者可以很迅速地建立 Guest OS 無須多餘的安裝和設定，但在實際建置上則較為複雜，如我們耳熟能詳的 VMware 企業版就是如此，（如圖 3 所示）。. 圖 3 全虛擬化 [3] . 7.

(14) 圖 4 半虛擬化 [3] 2.. 半虛擬化（Para-virtualization）則與全虛擬化不同之處是它無法完全模擬，而必須在基礎硬體設施上需安裝 Host. OS 才可進行模擬（如圖 4 所示）。半虛擬化技術必須在底層基礎硬體設施所安裝的 Host OS 上來安裝虛擬化平台（hypervisor）軟體，藉由此虛擬化平台軟體才可產生模擬 Guest OS 來運行使用，然而在建置上就較為簡易，但在運算效能上則較為低階且有各個 Guest OS 需重新安裝與設定之缺點。. 第三節動態資源管理（Dynamic Resource allocation）虛擬機器（Virtual Machine, VM）在雲端運算中已成為最重要的單位資源，在動態資源管理中我們希望最終能達到有效的運算效能且能適當的節省成本又能達到能源消耗減少之目標。圖 5 顯示動態資源管理之運作方式[6]。一開始決定 VM 的大小是部署 VM 的第一步，它會確定預計所需的資源部署，一旦 VM 確定配置後，VM 將被實作出來並配置到每台實體機器（Physical Machine, PM）上，當資源管理監測使用情況和性能時，即可判定是否有資源不足導致無法滿足需求和超量 8.

(15) 圖 5 動態資源管理流程步驟 [6] 或資源使用率低的地方，進而系統從資源較飽合之處移動 VM 上之工作任務至資源使用率低的地方，以達到負載均衡。隨著虛擬化技術對各種雲端平台變得更加普遍化的情形下，採用此技術的 IT 管理者不斷增加，在任何雲端運算中虛擬機器的請求數量必須按比例增加伺服器的數量進而分配工作任務供給運算，以考慮到這點且又能達到減少能源消耗之目標。在文獻[1]中作者 Jansen 和 Brenner 分別探討了不同的分配方法，將各種用在雲端環境中實體機器上虛擬機器的分配策略，以下將個別介紹七種分配策略的特性及有效性：. 1. Round Robin 此一分配策略為針對每個新 VM，經由循序遍尋所提供的 PM，直到在 VM 上找到一個足夠放置資源的 PM。一旦循序找到之後，即將此新 VM 匹配到該主機上。對於下一個 VM，此分配策略便依照歷史位置開始尋找，並再次選擇第一個 PM 可以匹配之 VM，這個過程一直持續，直到所有 VM 均分配完成為止。. 9.

(16) 2. Striping 此一分配策略在面對每個新 VM 時，首先排除所有 PM 無法配置新 VM 的可用資源，接著從剩餘的 PM 尋找一個目前託管 VM 數量為最少，一旦尋找到適合的 PM 並將 VM 匹配到其上，依此類推，直到所有的 VM 都分配完成為止。此一策略旨在盡可能的分散 VM 至各個 PM 上。. 3. Packing 此一分配策略在面對每個新 VM 之要求時，首先排除所有 PM 無法配置新 VM 的可用資源，接著從剩餘的 PM 尋找一個目前託管 VM 數量最多之 PM，一旦尋找到適合的 PM 即將此 VM 匹配到該 PM 之上，其餘新 VM 亦依此方式類推，直到所有 VM 分配完成為止。此一策略係旨在盡可能將 VM 整合在同一 PM，進而減少 PM 的使用。. 4. Load Balancing （free CPU count）同上，首先排除所有 PM 無法配置新 VM 的情況，接著從剩餘的 PM 尋找一個 CPU 數量空閒為最多之 PM，一旦尋找到適合的 PM 並將其匹配到該 PM 之上，這樣的過程一直持續到所有新 VM 分配完成為止。此一負載平衡策略係旨在盡可能的減少 CPU 負載。. 5. Load Balancing （free CPU ratio）同上，首先排除所有 PM 無法配置新 VM 的情況，接著從剩餘的 PM 尋找一個 CPU 數量空閒比例為最大，一旦尋找到適合的 PM 並將匹配到該 PM 之上，這樣的過程一直持續到所有新 VM 分配完成。此一負載平衡策略係指盡可能的減少 CPU 負載，是一項稍微好些的負載平衡策略以閒置與忙碌的比例為基礎。. 10.

(17) 6. Watts per Core 同上，首先排除所有 PM 無法配置新 VM 的情況，接著從剩餘的 PM 尋找一個將導致使用最少額外的電力瓦數，一旦尋找到適合的 PM 並將其匹配到該 PM 之上。在這個額外的電力瓦數計算，假設 PM 可以處為低功率耗電狀態（例如：關機、休眠）所計算的有效電力視為 0 瓦。這樣的過程一直持續到所有新 VM 分配完成為止，此一策略係指是試圖找到 PM 將佔用最少的額外電力瓦數，藉此降低總能源耗電。. 7. Cost per Core 同上，首先排除所有 PM 無法配置新 VM 的情況，接著從剩餘的 PM 尋找電源耗費成本為最低，一旦尋找到適合的 PM 並將其匹配到該 PM 之上，這樣的過程一直持續到所有新 VM 分配完成為止。此一策略係指是試圖找到 PM 將佔用最少額外電力耗費金額，藉此進而減少整體能源耗費金額成本。. 在文獻[8]中，目前的學者所研究的資源分配方法都著重於優化分配實體資源、相關聯的虛擬機器和遷移虛擬機器，由於這些方法需要暫停雲端運算相關的虛擬機器及關閉應用程序，為了解決這類的問題，文獻[8]則提出應用程序的負載變化和基於門檻值動態資源分配的原則，提高資源的使用率。在一般情況下，網路應用程序（例如：Web 應用程序）的工作負載量有變化時，使用靜態資源分配方法分配固定的資源，應用程序可能會有效能降低之情形，若資源不足或應用程序不是在高負載時，會導致資源被浪費。設計一個動態資源分配管理方式，將可以調整資源分配給應用程序，基於門檻值的動態資源分配管理主要想法是監督、預測雲端應用程序的資源需求和調整應用程序虛擬資源的實際需求。. 11.

(18) 文獻[8]基於門檻值動態資源分配的設計基礎上，作者依據應用程序所需資源進行資源分配。基於門檻值動態資源分配的模型描述如下，制定標準的工作負載量. 定義. 如下：（1）. 其中. 為虛擬機器（或虛擬資源）最大工作負載量，. 則在工作負載量需重新分配時. 定義如下：. （1. 其中. 為管理者定義的門檻值。. ）. （2）. 代表管理者自訂極限門檻值，則是虛擬機器數量。因此L. 即是. 按工作負載比例重新資源分配。在文獻[8]的動態資源分配方式，若應用程序的負載變化是穩定緩慢情況下，虛擬資源就會較長的間隔時間被分配，若應用程序的負載變化是迅速變化情況下，虛擬資源就會較短的時間間隔被分配。在應用程序的負載變化中，若僅安排當前應用程序的負載時，系統可能需要頻繁地重新分配虛擬資源，這樣的分配方式將會造成額外的開銷，為了避免不必要的開銷，因此分配方式使用門檻值的參數設定來調節資源分配的頻率。假設虛擬資源的應用程序負載量依據公式（1）所計算出的值以內，則就無須重新分配虛擬資源，一般情況下，在分配到的虛擬資源上應用程序大都處於正常的工作負載內，當然不可缺少的系統會保留些虛擬資源，預防突然增加應用程序的負載，因此，若應用程序的負載的變化超過由公式（2）所計算出的值，就會啟動資源重新分配。. 12.

(19) 第四節能源管理（Energy Management）虛擬化技術當中，虛擬機器能達到高效能且能達到省電的效果是重要之目標，因此在工作任務到達時我們有必要依目前的負載狀況以及此一任務之特性來進行虛擬機器的配置。然而，在進行資源配置時若將電力消耗納入考量，則平衡負載及虛擬機器整合等二種設計重點，都將各有優點[6]。以下就此二個設計原則進行特點描述與分析：. 1.. 負載平衡（Load balancing）由於 VM 可動態地改變他們的資源需求，因此在不同的 PM 上則會產生不平衡的狀. 態，有些的 PM 負載較重，而另一些則可能較輕負載（如圖 6 之上圖）。在資料中心的 PM 資源使用服務水平協議連續監測，假設在不同的 PM 有很大的差異時負載平衡會被觸發，負載平衡涉及遷移的 VM 從低負載的高負荷的 PM。一個超載的 PM 是不理想的，因為它會導致服務的用戶請求延遲。同樣，負載較輕的 PM，則會導致資源利用效率降低。. 2.. 伺服器整合（Consolidation）整合的目標是為了避免服務的機器不斷蔓延下去，導致許多 PM 都是處在低資源使. 用 VM 的狀況。事實上，若將較輕負載主機上的 VM 可以整合到更少的主機，以滿足資源使用不浪費，整合後空下來的 PM 就可以關閉以達到節省電源的效果（如圖 6 之下圖）。. 13.

(20) 圖 6 平衡負載與整合 [6] 在文獻[5]中，作者 Yamini 在綠能的議題上導入雲端運算的能源模型。一般而言，後端的雲端運算資料中心將會產生龐大的能源消耗，為了解決這個問題，雲端運算資料中心的資源就要有完整配置的方式，因此推動節能雲端運算分配方法，在運算資源需要分配時，不僅只是為了滿足使用者的服務品質（Quality of Service , QoS ）要求而已（如：執行完成期限），也能減少能源的消耗。一個綠能的雲端運算平台的架構（如圖 7 所示），顯示該文獻所考慮之綠能雲端運算平台架構，其中 Green Resource Allocator 將扮演節能之雲端服務分配基礎設施。. 14.

(21) 圖7. 綠能雲端運算架構示意圖 [5]. 綠能雲端運算主要有三種方法，使雲端運算環境更環保。在實驗條件下，這些方法的實際應用仍在研究中。其方法有如以下[5]：. 1.動態電壓頻率調整（Dynamic Voltage Frequency Scaling Technique, DVFS）技術：每一個實體電源電路，將會有一個與它相關聯的動作機械時鐘，將該時鐘的運行頻率進行調整，使電源電壓調節。因此，這種方法很大程度上必須取決於硬體，根據不同需要是難以控制的。與其他方法相比，此方法節省的功率較低，減少能耗費比也低。. 2.運算資源的分配或虛擬機器遷移技術：在雲端運算環境中每一個實體機器都承載著數個虛擬機器的應用程序在運行，這些被轉移到各個主機上的虛擬機器可以根據不同的需要和可利用的資源進行調整。在這樣的方式，電力消耗就會著重於虛擬機器的遷移過程，因此在虛擬機器轉移之下，相對電源功率勢必會增加，但至少虛擬機器的轉移方法，可以選擇最有效的節能實體機器之上和可將虛擬機器跨越轉移至另一實體機器之上的優勢。 15.

(22) 圖 8 CPU 各使用率電源消耗功率 [5] 3.演算法的方法：在文獻[5]已被實驗確定，的一個理想的伺服器消耗約 70％的充分利用運算資源所使用的電源（如圖 8 所示）。在文獻[5]能源模型設計基礎上，作者是按照現階段 CPU 的使用率以及能源消耗的線性關係進行任務的資源分配。電力消耗模型描述如下，首先，針對某資源機器）在任何時間時的使用率. （或實體. 被定義如下： ∑. 其中 n 為該時間運行時的任務總數量，. （3）. 為資源在執行任務 j 的使用率。. 則在某時間點資源所消耗的電力（）定義如下： E. 其中. P. ‐P. *U. P. （4）. 代表任一資源r 在未執行任何任務仍需耗費之基本電力值，. 滿載運行時所需耗費之最大電力。因此E 即是按負載比例. 16. 則是當該資源. 來定義電力消耗。.

(23) 在文獻[5]所提之方法（Maximum utilization allocation , MaxUtil）的分配是依據某一工作任務所需之使用率，檢查每個實體機器的資源使用剩餘比例來作為分配考量，選擇剩餘比例最小且能容納該任務之實體機器並分配資源給此一任務執行，主要目標是希望能將工作執行儘可能集中，以節省機器之使用。. 在文獻[7]中，依據能源消耗任務整合（Energy-aware Task Consolidation, ETC）技術，旨在優化雲端系統中虛擬機器集群的能源消耗，大多數雲端系統的 CPU 使用率達 70％時的情況，可利用整合虛擬機器群集之間的工作任務，假設某虛擬機器（或虛擬機器群集）CPU 使用率未達 70%時，工作任務則盡量分配至此虛擬機器達 70%，若虛擬機器已達 70%時，則另尋虛擬機器分配，依據文獻[7]模擬結果顯示可以在分配工作任務雲端系統整合時降低能源消耗，最高達 17％的改善效能以提高資源的使用率。. 文獻[7]亦以 CPU 使用率和網路的傳輸成本等二種作為工作任務如何進行分配的基準考量，此外，它亦考慮到群集閒置狀態或即使在非常低負載時，能源消耗仍然是明顯的，反之群集過載或停留在高使用率時，也可能導致能源消耗效率降低的情形。因此該論文提出一個演算法來定義一個理想的 CPU 使用率門檻，當 CPU 使用率低於預先定義的門檻值時，就將工作任務平均分配，若 CPU 使用率高於門檻值，工作任務將被遷移到其他適當群集資源之中（如圖 9 所示）。. 17.

(24) 圖 9 雲端系統由多個群集節點組成示意圖[7] 在文獻[7]能源模型設計基礎上，作者是按照 CPU 的使用率及網路傳輸成本能源消耗來進行資源分配。電力消耗模型描述如下，針對某資源. （或群集）在任何時間的. CPU 使用率所需計算的電力消耗（）定義如下：. α watts/s, 閒置狀態 α. （）. β watts/s, if 0%. CPU 使用率. 50%. α. 2β watts/s, if 50%. CPU 使用率. 70%. α. 3β watts/s, if 70%. CPU 使用率. 80%. α. 4β watts/s, if 80%. CPU 使用率. 90%. α. 5β watts/s, if 90%. CPU 使用率. 100%. 其中β為額外考慮的能源消耗，α則為閒置狀態的能源消耗。. 18. （5）.

(25) 第三章環境架構與所提方法介紹第一節環境架構及問題描述如前所述，資源分配管理在雲端運算中心運作時扮演著相當重要的角色，尤其是能源消耗方面，影響更為巨大。在雲端環境架構中若欲達到完善管理雲端運算中心的運算資源，則必須導入虛擬化技術，因此，我們將在已虛擬化後的擬機器當中探討資源分配管理機制的設計。本學位論文之雲端環境架構運作流程如圖 10 所示，我們將每台實體機器（PMs）切成數個虛擬機器（VMs）以提供工作運算之執行。假設在不同時間來了數個客戶端所請求運算的工作任務，則資源分配管理機制將透過當時運算資源的狀況來判定此時到達的工作任務應分派給那些虛擬機器來進行運算，使得最終的總電力消耗能達到最低，而每一工作均盡可能在使用者所要求的完成期限之前完成。. 圖 10. 雲端環境系統架構圖. 19.

(26) 表 1 各個工作任務資訊表工作任務到達時間任務處理時間完成期限緩衝使用率（Job）（Arrival time）（Processing time）（Slack time）（Utilization） 30 0 0 20 40% 15 1 3 8 60% 26 2 7 23 20% 18 3 14 10 40% 28 4 20 15 80%. 圖 11. 使用率資源分配示意圖. 一般而言，當有工作任務交由雲端中心進行運算時，針對此一工作任務就會有相關的基本特質描述，包括到達時間（Arrival time）、任務處理時間（Processing time）、使用者給定的完成期限緩衝（Slack time）以及任務所需的運算資源使用率（Utilization）等，此些資訊有些部分是系統的時間記錄（如：到達時間），有些是使用者所給定（如：完成期限），有些則可依據歷史資料及任務的特質進而利用方法估計得知（如：處理時間及運算資源使用率）。一旦收集所有待處理之工作任務資訊之後（如表 1 所示），考量目前已分配之資源使用狀況，再進行資訊分析以及資源配置的處理。工作資源分配方式將以圖 11 搭配表 1 之資訊來加以說明，假設每個實體機器（PMs）使用率最高上限為 100%，而每個 PM 切成 5 個 VMs，因此每一 VM 占 20%之使用率。假若目前時間為 10，實體機器 PM0 和 PM1 中已各有工作任務正在運算處理，分別為在 PM0 的工作任務 J0 （使用率為 40%）和工作任務 J1（使用率為 60%）；而 PM1 上的工. 20.

(27) 作任務 J2（使用率為 20%），由於工作任務 J1 之到達時間為 3，處理時間為 8，因此，若在時間 11 時 PM0 即可有空餘之 VM 資源可以執行運算。另外，由於 J1 在時間 11 時完成任務且由於使用者所給定之完成期限緩衝為 15，因此將不會有任何之期限超過懲罰（因為，11. 3. 15）。現在，若在時間 14 的時候有另一個工作任務 J3 到達且其使用. 率為 40%時（如表 1 所示），資源配置處理則會進行判斷並做出分配決定，假定現以當時正在運算資源所佔的使用率尋找使用率最高的 PM 為目標（如文獻[5]所提之方法），則工作任務 J3 將交由 PM0 來處理，因為當工作任務 J3 到達時，實體機器 PM0 所佔的使用率為 40%（執行工作任務 J1）且有剩餘 60%的空間可以進行配置，雖實體機器 PM1 所佔的使用率為 20%（執行工作任務 J2）剩餘 80%的空間，文獻[5]為求整合工作任務的關係進而選擇使用率佔較高的資源（PM0）進行處理，分配結果如圖 11 左側所示。最後在時間 20 時候到達的工作任務 J4（使用率為 80%），此時運算資源 PM0 和 PM1 中持續各有工作任務正在運算處理，這時運算資源已回收處理結束的工作任務之資源後只剩實體機器 PM0 的工作任務 J3 還在處理以及實體機器 PM1 的工作任務 J2，按照先前所描述的方法分配的話會將 J4 分配到實體機器 PM0 進行處理，但由於實體機器 PM0 當下剩餘的使用率為 60%，因工作任務 J4 所需佔用的使用率必須是 80%，因此無法將此工作任務分配給 PM0 處理，故而轉交由 PM1 處理，分配結果如圖 11 右側所示。以上即是本學位論文所考慮之工作任務資源分配問題，而按某一分配方法來進行資源分配後，對於整個雲端運算中心之正規化後之總耗電量（. ）即可計算出（本. 學位論文將採用公式（3）、（4）作為估算之基準，並將該數值除以曾出現過之實驗數據最大值），進而作為評估資源分配方法優劣之判斷準則之一。此外由於使用者所設定的期限是否能及時完成亦是一項重要的判別準則，因此對於各個工作任務若一旦完成時間超過期限則一個懲罰的值亦將納入最終的目標函數設計之中。亦即，假定現有 n 個工作. 21.

(28) 任務正被運算中心執行，在執行完畢所有的工作後，每一工作任務之懲罰值為 P （1. n）；當然，若某一工作任務在所給定之期限前即完成任務，則P. 後，總懲罰值Penalty. ∑. 。而正規化後之總懲罰值Penalty同樣設定為 Penalty 值除. 以實驗數據中最大數值（亦即，Penalty minimize α*E. 0。最. Penalty/max. β*Penalty，其中α, β ∈ 0,1 ，α. P ）。而目標函數則設為 β. 1。本學位論文所考慮之. 問題即是設計一 VMs 之資源分配方法使得上述討論之目標函數能達於最佳。. 第二節. Job splitable allocation 資源分配方法. 根據雲端系統上（如：Hadoop 系統）MapReduce 的概念，本學位論文之方法會將某一工作任務拆成更小之子工作並分配至不同之 PM 上。分配方式如下：以當時情況下選擇最高使用率的 PM 將被拆解的工作任務放滿該 PM，亦即，讓其使用率達到 100%，再將剩餘之工作再次分配至次高使用率之 PM 上，依此類推，直至分配完所有之工作使用率為止，此一方法稱為 Job splitable allocation。現將以前述之範例再加以說明，假設在時間 30 時候工作任務 J5 到達，而其任務處理時間為 10、完成期限緩衝為 35、所需使用率為 120%，按上述資源分配方式，此時（時間 30）目前使用率最高的 PM 為 PM1 （使，先拆解用率 80%），而 PM0 之使用率則為 0%。因此，將工作任務 J5 （使用率 120%） 20%（100%－80%）並分配至 PM1 使其達到滿載 100%，其次將剩餘之 100%（120%－ 20%）分配至使用率次高之 PM0 （結果如圖 12 所示）。. 22.

(29) 圖 12. Job splitable allocation 資源分配示意圖. 在所提之 Job splitable allocation 方法中本學位論文亦訂定出一考量降低懲罰值之工作優先執行挑選機制以取代傳統先進先出（FIFO）之方法。一般而言，當工作任務多到暫時無法立刻分配運算資源時，我們會將其暫時存放在佇列緩衝區（Buffer Queue）之中，待有足夠之運算資源（或 VMs）空出時再進行安排。而在佇列等待進行運算的工作任務所優先選擇的方式如下：首先，計算出佇列中每個等待工作任務之預測懲罰值，計算方式如公式（6）所示（參考圖 13）。（6）. 其中為目前的時間，為工作任務的到達時間，與分別是使用者給定的完成期限緩衝及任務之處理時間。最後，以佇列中所有值最大的工作任務優先選出並分配資源來執行。. 圖 13. 預測懲罰值示意圖. 23.

(30) 第三節. Job splitable allocation 資源分配演算法. public class Job splitable allocation { //從 Buffer Queue 中挑選某一工作任務. ∗. 以進行資源分配，假定 Buffer Queue. 中有 , , ⋯ , 等 k 個 Jobs public Job-selection（）｛ If（Buffer Queue ∅）｛ k； ++）｛. For（＝1；. 計算工作任務之預測懲罰值. ，. 其中為目前時間，為到達時間，為處理時間，為完成期限緩衝；｝令 ∗ 之 ∗ 值為｛ ,. ,⋯,. ｝中之最大值，進行 Resource-allocation 資源分配；. ｝｝. //從 PM 當中挑選某一工作負載 ,. //假定 PM 中有. ,⋯⋯,. ∗. 以進行分配工作任務處理等 m 台 PMs. Public Resource-allocation（ ∗ ）｛ m； ++）｛. For（＝1；計算實體機器. 之總負載量. ；. ｝令. ∗. 之. ∗. 值為｛. ,. ,⋯⋯,. ｝中之最大值，優先進行工作. 任務分配，將 ∗ 之工作任務切成子任務分配處理並填滿. ∗. 。再依序將次大. 值之 PM，將剩餘工作子任務分配處理並填滿，依此類推至工作任務分配處理完成為止。｝｝ . 24.

(31) 第四章. 效能評估. 本章我們將描述本研究所進行模擬各種不同環境參數的實驗，在第一節將介紹所提的方法與比較對象在模擬實驗的環境，第二節則是實驗數據效能分析結果。. 第一節. 實驗模擬環境. 本學位論文將與其他兩種資源分配方法：循序分配方法（Sequential allocation）和文獻[5]所提之高使用率選擇分配方法（Maximum utilization allocation）進行效能比較。工作任務的產生方式是按 Poisson 分配所產生，每個模擬數據都經由一千次隨機實驗並取平均作為最後結果。實驗參數設定如表 2 所示，我們模擬的工作任務產生頻率分別設定為λ. 0.1、0.5、0.9、1.3、1.7 及 2.1，實體機器數量分別為 5、10 及 20 台，每台實體. 機器所虛擬化的 VM 數量為 5 台，最後將各別實驗平均結果我們乘上權重值 α 和 β（α， β 分別為耗電量及懲罰值之比重參數），經由權重值參數設定比例不同來觀察單看能源消耗、單看懲罰值和能源消耗與懲罰值的綜合比較結果。表2. 實驗模擬參數表. 工作任務出現頻率（λ）. 0.1、0.5、0.9、1.3、1.7、2.1. 伺服器數量（台）. 5、10、20. 每台實體伺服器之 VM 數量（台）. 5. 能源消耗權重值（α）. 1.0. 0. 0.7. 懲罰值權重值（β）. 0. 1.0. 0.3. 25.

(32) 第二節. 在λ. 實驗結果. 0.1、0.5、0.9、1.3、1.7 及 2.1，實體機器數量為 5 台，每台實體機器所虛擬. 化的 VM 數量為 5 台的參數設定下，首先我們先比較在不論 α 與 β 值的組合上，比較平均能源消耗、平均懲罰值與平均能源消耗及懲罰綜合比較值等效能參數，圖 14 - 16 所示，我們可以看出 Sequential allocation 和 Maximum utilization allocation 差異不大因而數線而重疊。在我們所提之工作任務可拆分配方法（Job splitable allocation）與上述兩項方法比較時，可以很明顯的看出能源消耗明顯下降，因此更能達到綠能省電的效果。圖 14 的設定為 α = 1.0，β = 0，伺服器 5 台；亦即，單看能源消耗之效能比較。當工作任務出現頻率（λ）為 0.1，工作任務處於較為稀少時，我們可以看到所提之方法與其二種方法能源消耗上略只有些微的差距，但從工作任務出現頻率（λ）為 0.5 以上之後，工作任務處於較為密集時，由圖 14 中我們可以看出在能源消耗上所提之方法逐漸的降低電力的消耗。圖 15 的設定則為 α = 0，β = 1.0 來單看懲罰值之效能。當工作任務出現頻率（λ）為 0.1，工作任務處於較為稀少時，我們可以看到所提之方法與其二種方法懲罰值上略只有些微的差距，更甚至於趨近不會被懲罰的情況，因此可以知道在工作任務處於稀少時，工作任務都能尋找到資源來進行處理，無須經由特別的資源分配方法進行分配，但從工作任務出現頻率（λ）為 0.5 以上之後，工作任務處於較為密集時，由圖 15 中我們可以看出在懲罰值瞬間上升，由此可見當在工作任務密集時，因著資源不夠分配就會導致工作任務被懲罰，在所提方法上有明顯的降低工作任務被懲罰的效果。圖 16 的設定則為 α = 0.7，β = 0.3 來看能源消耗與懲罰值之綜合效能比較結果。. 26.

(33) 能源消耗. 平均能源消耗. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0. Sequential allocation Maximum utilization allocation Job splitable allocation. 0.1. 圖 14. 0.5. 0.9 λ. 1.3. 1.7. 2.1. 能源消耗比較示意圖（伺服器數量（台）= 5；α = 1.0；β = 0） . 懲罰值. 平均懲罰值. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0. Sequential allocation Maximum utilization allocation Job splitable allocation. 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 15. 懲罰值比較示意圖（伺服器數量（台）= 5；α = 0；β = 1.0） . 27.

(34) 能源消耗與懲罰值平均能源消耗與懲罰綜合比較值. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0. Sequential allocation Maximum utilization allocation Job splitable allocation. 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 16. 能源消耗與懲罰綜合比較值示意圖（伺服器數量（台）= 5；α = 0.7；β = 0.3）. 在λ. 0.1、0.5、0.9、1.3、1.7 及 2.1，實體機器數量為 10 台，每台實體機器所虛擬. 化的 VM 數量為 5 台的參數設定下，其次我們比較在不論 α 與 β 值的組合上，比較平均能源消耗、平均懲罰值與平均能源消耗及懲罰綜合比較值等效能參數。圖 17 的設定為 α = 1.0，β = 0，伺服器 10 台；亦即，單看能源消耗之效能比較。由圖 17 可以看出我們在能源消耗上所提之方法也是有降低能源消耗的趨勢，證明伺服器開多台時也不會造成能源消耗上的飆升。圖 18 的設定則為 α = 0，β = 1.0，伺服器 10 台來單看懲罰值之效能。我們可以看到在工作任務處於較為密集時，懲罰值的攀升，由此可見當在工作任務密集時，因著資源不夠分配就會導致工作任務被懲罰，因此就必須要有適當的資源分配方法去分配這些工作任務，所以在所提方法上是有明顯降低懲罰值。圖 19 的設定則為 α = 0.7，β = 0.3 來看能源消耗與懲罰值之綜合效能比較結果。 . 28.

(35) . 能源消耗 1 0.8 平均 0.6 能源 0.4 消耗 0.2. Sequential allocation Maximum utilization allocation Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 17. 能源消耗比較示意圖（伺服器數量（台）= 10；α = 1.0；β = 0） . 懲罰值 1 0.8 平均 0.6 懲罰 0.4 值 0.2. Sequential allocation Maximum utilization allocation Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 18. 懲罰值比較示意圖（伺服器數量（台）= 10；α = 0；β = 1.0）. 29.

(36) 能源消耗與懲罰值平均能源消耗與懲罰綜合比較值. 1 0.8 0.6. Sequential allocation. 0.4. Maximum utilization allocation. 0.2. Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 19. 能源消耗與懲罰綜合比較值示意圖（伺服器數量（台）= 10；α = 0.7；β = 0.3）. 在λ. 0.1、0.5、0.9、1.3、1.7 及 2.1，實體機器數量為 20 台，每台實體機器所虛擬. 化的 VM 數量為 5 台的參數設定下，最後我們比較在不論 α 與 β 值的組合上，比較平均能源消耗、平均懲罰值與平均能源消耗及懲罰綜合比較值等效能參數。圖 20 的設定為 α = 1.0，β = 0，伺服器 20 台；亦即，單看能源消耗之效能比較。我們可以看出在能源消耗上所提之方法是有降低電力的消耗。圖 21 的設定則為 α = 0，β = 1.0 來單看懲罰值之效能。我們可以看出在懲罰值會因著資源充足而明顯大幅度的降低，由此可見在所提方法是有效明顯降低工作任務被懲罰的效果。圖 22 的設定則為 α = 0.7，β = 0.3 來看能源消耗與懲罰值之綜合效能比較結果。 . 30.

(37) . 能源消耗 1 0.8 平均 0.6 能源 0.4 消耗 0.2. Sequential allocation Maximum utilization allocation Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 20. 能源消耗比較示意圖（伺服器數量（台）= 20；α = 1.0；β = 0） . 懲罰值 1 0.8 平均 0.6 懲罰 0.4 值 0.2. Sequential allocation Maximum utilization allocation Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 21. 懲罰值比較示意圖（伺服器數量（台）= 20；α = 0；β = 1.0） . 31.

(38) 能源消耗與懲罰值平均能源消耗與懲罰綜合比較值. 1 0.8 0.6. Sequential allocation. 0.4. Maximum utilization allocation. 0.2. Job splitable allocation. 0 0.1. 0.5. 0.9. 1.3. 1.7. 2.1. λ. 圖 22. 能源消耗與懲罰綜合比較值示意圖（伺服器數量（台）= 20；α = 0.7；β = 0.3）. 32.

(39) 第五章. 結論與未來工作. 本學位論文當中我們針對雲端運算的服務層級來進行資源分配的改善，藉由這樣的方式進而達到綠能省電的目的，一個雲端中心若能達到節能省電且達到處理效能的提升，不但讓使用者在使用提供的服務時很放心的去使用供應商所提供的服務，且供應商也能達到資源使用率的提高兼具滿足使用者的服務品質要求，同時亦能省下很多電力的開銷成本。在本論文研究方法中將工作任務可切成數個子任務進行分配運算及在工作任務未有運算資源可進行分配時在 Buffer Queue 所挑選的方法，實驗結果顯示，本論文所提的方法成功的降低能源消耗與被懲罰情形。未來希望可將其餘的網路傳輸成本及網路電力消耗納入考量範圍，亦可將雲端運算資料中心整體耗費的電力達到完整降低的情況，進而達成完善的綠能雲端網路資料中心。. 33.

(40) 參考文獻 [1] R. Jansen and P.R. Brenner, “Energy efficient virtual machine allocation in the cloud” , in Proceeding of the Green Computing Conference and Workshops （IGCC） 2011 , pp. 1-8, 2011 [2] C.-C. Lin, P. Liu and J.-J. Wu, “Energy-efficient virtual machine provision algorithms for cloud systems“, in Proceeding of the Utility and Cloud Computing （UCC） Fourth IEEE International Conference , pp. 81-88, 2011 [3] C.-T. Yang, K.-C. Wang, H.-Y. Cheng, C.-T. Kuo and W.-C.-C. Chu, “Green power management with dynamic resource allocation for cloud virtual machines“ , in Proceeding of the High Performance Computing and Communications （ HPCC ） IEEE 13th International Conference , pp. 72-733, 2011 [4] C.C. Lamb, P.A. amkhedkar, G.L. Heileman and C.T. Abdallah, “Managed control of composite cloud systems” , in Proceeding of the System of Systems Engineering （SoSE） 6th International Conference , pp. 167-172, 2011 [5] R. Yamini , “Power management in cloud computing using green algorithm“ , in Proceeding of the Engineering Science and Management （ICAESM） International Conference , pp. 128- 133 , 2012 [6] M. Mishra , A. Das , P. Kulkarni and A. Sahoo , “Dynamic resource management using virtual machine migrations” , IEEE Communications Magazine , pp. 34-40, 2012 [7] C.-H. Hsu、S.-C. Chen、C.-C. Lee、H.-Y. Chang、K.-C. Lai、K.-C. Li and C. Rong , ”Energy-aware task consolidation technique for cloud computing” , in Proceeding of the IEEE Third International Conference on Cloud Computing Technology and Science , pp. 115-121, 2011 [8] W.-W. Lina、J.Z. Wangb、L. Chen and D. Qia , “A threshold-based dynamic resource allocation scheme for cloud computing” , in Proceeding of the Procedia Engineering , PP. 695-703 , 2011. 34.

(41)