広域并列分散高性能.pptVIP

デッドロックが生じないために転送が使える経路に制約を課します。その代表的な例として、ここではUP/Downルーティングを説明します。 まず、ルートノードを定め、そこから幅優先探索でIDを割り振ります。 次に、各エッジでノードIDが小さい方向をUPと定め、逆をDOWNと定めます。 経路の制約としては、DOWN方向に進んだ転送経路はどのエッジもUP方向に進めないというものです。 * さらに、ノード間の遅延?接続リンクバンド幅というネットワーク情報を用いて、オーバレイの構築、デッドロックフリー制約、経路の計算の最適化を行います * * 混雑したリンクに複数の転送が競合した場合、交互に複数の転送がパケットを次のリンクに流すことになる * 直接接続の場合、Gatherノードのスイッチポートで衝突が起き、パケットロスが発生し、TCPのRTO, 200msのロスを受ける 一方、疎なオーバレイでは衝突を緩和し、このようなロスを避ける * 複数クラスタの環境でGatherをしても、どうように衝突をさけることによって相対的に高性能を出すことが出来ている * 最後に、大規模な環境でAll-to-Allの性能を検証しました。このような環境ではボトルネックが存在します。 階層的なクラスタに限っては、MPIの実装であるMPICHとの比較をしました。 * * 2009/2/10 通信遅延の比率のCDF * 2009/2/10 All-to-All:オーバレイ構築の比較 * 2009/2/10 * 2009/2/10 100 [Mbps]クラスタ間転送 * 2009/2/10 広域環境上オーバレイ 接続性の解決法 複数ホップで通信 スケーラビリティ メモリ?stateful firewall firewall Cluster Cluster TCP/UDP Link Application-level Overlay * 2009/2/10 オーバレイ上の転送 オーバレイ上の通信はノード間で転送される 転送のバンド幅が重要になる dst src buffer buffer buffer * 2009/2/10 安直な転送アルゴリズム dst src buffer buffer 1Gbps dst src 1Gbps 1Gbps 1Gbps 1Gbps WAN Link 各ノードのアルゴリズム 受信：best effort 送信：best effort 均一な環境：高性能 不均一な環境：バッファがメモリーアウト * 2009/2/10 パイプライン転送 (1/2) 複数のTCP接続でリレーする 受信：バッファに余裕があれば 送信：best effort 利点： 単純で低オーバヘッド TCPが実現するスループットを得る メモリ使用量は一定 dst src FULL! FULL! * 2009/2/10 パイプライン転送 (2/2) 欠点：通信デッドロック リンクAからリンクBに転送 リンクBの転送がブロック ?リンクAの転送がブロック リンクAがリンクBを待つ 依存関係：リンクA→リンクB FULL! Link: A Link: B FULL! waits… * 2009/2/10 Dijsktra-likeな計算(1/3) 準備 R個のrankがあるとする Updownの時：R=2とする 各ノードをR個複製する (node-id, rank-id)を識別子とする 各無方向リンクを2つの有方向リンクとする それぞれの有方向リンクにrankを割り当てる Ordered-link 有方向リンクのペアに無方向リンクのランクを割り当てる Updown Up方向にランク: 0 Down方向にランク：1 (nid, 0) (nid, R-1) nid r r r 0 1 * 2009/2/10 Dijsktra-likeな計算(2/3) 制約 (nid, r)のノードはランクr以上のリンクのみ たどれる (n0, r)がリンクr’を使ってn1に渡る時、 (n1, r’)に到達する 初期条件 ノードsrcからスタート (src, 0), … (src, R-1)までの距離を0に初期化 (nid, r’) (nid, r’) r (nid, 0) * 2009/2/10 Dijsktra-likeな計算(3/3) 計算量 Dijkstra: |E| + Vlog|V| フィボナッチヒープを使うとdecrease-key: O(1) レベル数:R |E| = eR |V| = nR eR + (nR) log(nR) 最悪(全対全):R = n 各ソースについて解くが分散計算が 容易に出来る * 2009/2/10 * 近年、WANのバンド幅の増加に伴っ