分散式记忆体多处理机的自动工作量分配系统.pdfVIP

行政院國家科學委員會補助專題研究計畫成果報告 分散式記憶體多處理機的自動工作量分配系統 計畫類別： 個別型計畫 整合型計畫 計畫編號：NSC 90-2213-E-002-145- 執行期間： 90 年 8 月 1 日至 91 年 7 月 31 日 計畫主持人：劉邦鋒 計畫參與人員：楊志學，沈子皓 ，陳麗如，許克仲，張力平． 本成果報告包括以下應繳交之附件： 赴國外出差或研習心得報告一份 赴大陸地區出差或研習心得報告一份 出席國際學術會議心得報告及發表之論文各一份 國際合作研究計畫國外研究報告書一份 執行單位：台灣大學資訊工程系 中 華 民 國 91 年 10 月 31 日 行政院國家科學委員會專題研究計畫成果報告 計畫編號：NSC 90-2213-E-002-145- 執行期限：90 年 8 月 1 日至 91 年 7 月 31 日 主持人：劉邦鋒 台灣大學資訊工程系 計畫參與人員： 楊志學，沈子皓 中正大學資訊工程系 一、中英文摘要 負載分配是平行處理中極為重要的一個問題，在一個多處理機系統中，計算負載應該平均分配到所有的處理器 來縮短總平行執行時間。如果負載不加以平均分配，會對平行效能提昇倍數產生負面影響，並無法充份利用多 處理機系統中多處理機的計算效能。簡而言之，負載平均分配的目的是讓所有的處理器一直保持忙碌狀態。 在分散式記憶體多處理機系統中，除了將工作量平均分配外，資料的連續性(data locality)也是負載分配中極 為重要的問題。在此種系統中，處理器往往必需在執行工作上有先後順序，而需要同步，同時，由於分散式記 體的關係，處理器之間傳遞資料必需經由訊息傳遞(message passing) ，如果不保持資料的連續性通訊成本將會增 加，因為計算所需要的資料在大部時間由遠方經由訊息傳遞取得，因此，一個好的負載分配系統必需將工作量 平均分配同時保証資料的連續性。 理想的負載分配困難的原因有下列三種理由。首先，計算以及資料結構可以展現出非常不規則的結構，導致 我們無法在不影響資料連續性的情況下將計算量以及資料結構平均分配到各個處理器。其次，在某些動態問題 中，各個資料的計算量會隨著時間而變化，所以負載必需做動態的調整。最後，在一般的非供平行計算專用的 計算環境中，各個處理器所能提供的計算能力會隨著時間及外界因素而變化。這些外界因素往往無法在負載分 配時能夠預測。 有許多負載分配方法採取主動的方式，無論是要切割一個迴圈，或是一個資料結構，或是工作時序圖(task graph) ，這些負載分配方法都必需知道這些組成元件上面的工作量，才能做正確的負載分配，相形之下，一個 被動的方法是將所有的工作放在一個共同區域，然後任何閒置處理器都能在這個共同區域取得工作來執行，雖 然此種方法非常簡單，並且很容易在分享記體多處理器系統中來執行，但是它完全不考慮資料的連續性，所以 在分散式系統中會造成極大的困難，除此之外，這個方法利用了一個全域的資料結構，所以需要一個處理器來 執行集中管理，以保証資料結構的完整性。這會造成資料存取的集中性，以及較差的容錯性。 本計劃提出一個自動負載分配系統(WBRT) 。此系統藉由工作偷取(work stealing)的方式來平均分配負載。工 作偷取是由閒置的處理器到鄰近的處理器偷取工作來執行，所以並不需要知道各個組成元件的確實負載。換句 話說，我們讓處理器，根據他們目前的負載自己去協調以達到平均分配工作的目的，也就是說工作並不是被分 配到處理器，而是由處理器主動去爭取工作。 WBRT 也支援虛擬全域資料陣列(virtual global data array) ，使用者程式可宣