第十四届电子化企业经营管理理论暨实务研讨会以资源竞争为基础的多.doc

第十四屆電子化企業經營管理理論暨實務研討會  PAGE \* MERGEFORMAT 8 以資源競爭為基礎的多排程器並行控制之研究 邱紹豐1 杜睿嚴2 鍾崇佑3 邱已家4 大葉大學 資訊工程學系123 建國科技大學應用外語學系4 1 schiou@.tw 2?b211098@.tw 3 r9806014@.tw 4 monique@.tw 摘要 為了能夠更有效率的利用處理單元，讓使用者的需求能夠並行控制，這需要一個將使用者需求序列化的方法，本論文使用有向非循環圖(DAG)來表示使用者的需求，利用DAG子節點之間的先後順序關係，計算各個子節點權重，來決定每個工作執行的先後順序，如此可在公平的原則下將使用者需求序列化、並行控制，進而提高系統效能。使用多排程器機制，能夠分散使用者的需求，降低每個處理單元的工作量，但是也會產生出各個排程器之間溝通以及維護狀態的成本，本論文使用資源競爭的機制，讓排程器去競爭所需資源，僅在需要執行排程工作時才更新維護系統狀態，來避免排程器之間的溝通成本，降低排程的複雜度。在實驗中，我們的子工作的權重計算方法，可在維持公平性的原則之下序列化DAG中的子工作來決定工作執行的優先順序，而使用資源競爭的機制也提高了處理單元的使用率，降低工作等待時間。 關鍵詞：資源競爭，並行控制，DAG，分散式排程。  前言 隨著網路基礎建設的成熟與進步，以分散式架構為基礎的運算如雲端運算(Cloud Computing)以及網格運算(Grid Computing)等逐漸成為主流，許多大型的商業公司如微軟(Microsoft)、谷歌(Google)、亞馬遜(Amazon)等，都競相投入這個領域，提供各種不同的服務。與傳統的分散式運算不同，目前的雲端與網格運算環境提供高度的虛擬化以及擴展性。這些運算環境中包含了數量龐大的處理單元(Processing Elements，或稱PEs)，提供不同的服務類型與處理能力給使用者，包括基礎設施、平台、以及軟體等服務，使用者僅需實際透過單一的入口(Portal)即可使用這些被抽象化的處理單元所提供的服務。就地域以及處理單元的特性而言，現今的分散式運算環境也提供更靈活的擴展性。透過網際網路的串聯，這些處理單元可以分散在地球的任一角落，而??須集中於同一地區或是建築物。此外藉由虛擬化技術的支援，這些處理單元可以是異質性的，也就是說他們可以是由不同的軟硬體所組成的系統來提供使用者所需要的服務。對入口點而言，匹配使用者需求與最佳的處理單元的排程工作是其所面臨的最大的挑戰。因此在本研究中主要著墨於兩個問題：第一、使用者所提出需求的子工作的最佳序列化，第二、子工作與異質性處理單元匹配的最佳化。本論文內容安排如下所示：第二章清楚的定義出本研究所要解決的問題，第三章則羅列近期對此領域中所有國內外研究的成果，第四章及第五章分別為我們所提出的方法與實驗結果，最後我們提出未來可以繼續研究的重點作為本論文的結論。 動機與問題定義 雲端與網格等分散式運算隨著網路架構的成熟而逐漸成為主流，無論是提供運算、儲存以及基礎架構，此環境已經成為目前電腦運算最重要的環境。隨著此運算環境的擴大，使用者所面對的入口點以及其排程機制往往成為系統效能的瓶頸。造成此瓶頸的主要原因有二：第一、單一排程器無法負擔大量的使用者需求，因此造成大量的需求累積在入口點無法被派送至合適的處理單元。第二，使用者的需求是動態且無法事先預知的，排程器必須即時匹配最合適的處理單元，因此傳統的排程算法如模擬退火[1] 與螞蟻系統[2][3]等因為無法預先對所有工作做全面性的最佳規劃，因此都是不適合運用在此動態的環境中。針對第一個問題的解決方法，可使用多排程器的設計分散排程的工作，避免單一入口成為瓶頸。然而不同的多排程器的設計，但也衍生出其他的成本。例如以叢集為基礎的設計，因為無法預知各叢集所接受需求的數量，往往造成整體系統的負載不平衡。另一種階層式架構的開放最短路徑優先(Open Shortest Path First，或稱OSPF)[4]，雖然可以有效的達成負載平衡的目標，但是付出的代價是各階層之間排程器的通訊成本。 因此本研究的第一個重要的工作為提供一個有效率的架構能夠避免多排程器之間龐大的通訊成本，但又能夠讓各個排程器能夠知道系統的狀態作為排程的依據。對於第二個關於即時排程的問題，因為使用者需求的提交並無法事先知道，因此傳統最佳解搜尋的演算法如基因演算法、模擬退火等需要事先知道搜尋空間(search space)的演算法，並不適用於解決這個問題。因此本研究的第二個任務為在最短的時間限制內，為使用者所提交的工作匹配一能在最短時間內完成該項工作的處理單元。這項匹配的工作目的在於能夠為使用者的需求提出區域最佳化(locally op