1P15OpenFMOにおける中心クーロン相互作用項計算のGPGPU.pdfVIP

1P15 OpenFMO における4 中心クーロン相互作用項計算のGPGPU 化の試み 1 2 1 1 1 ○梅田宏明 、塙敏博 、庄司光男 、朴泰祐 、重田育照 1 筑波大学 計算科学研究センター ( 〒305-8577 つくば市天王台1-1-1) 2 東京大学 情報基盤センター ( 〒277-8589 柏市柏の葉5-1-5) 序 GPU 等の演算加速装置を用いた高性能科学技術計算システムへの対応は、量子化学計算においても 重要なトピックとなっている。これまでに我々はHartree-Fock(HF)計算のホットスポットであるFock 行列計算のGPGPU 化[1]を行ってきた。フラグメント分子軌道(FMO)計算[2]プログラムの大規模計算 機向け実装であるOpenFMO [3] にGPGPU 化Fock 行列計算コードを導入する[4]など、GPU を使った大 規模分子軌道計算に向けた開発を進めている。本発表ではOpenFMO によるFMO 計算でホットスポッ トになる4 中心静電相互作用項(ESP)計算についてのGPGPU 化の取り組みについての現状を報告する。 実装 二つの近接フラグメント間の静電相互作用を計算する4 中心ESP 計算のアルゴリズム構成はFock 行 列計算と類似しており、Fock 行列計算のGPGPU 化で行なった手法の多くを活用できる。大きな違い としては、計算された二電子積分を用いて行列に加算するのが一方のフラグメントに対するクーロン 項に限られていることが挙げられる。Fock 行列計算では行列全体に広がる可能性のある6 つの行列要 素の加算が必要であったため、当時のGPU が苦手としていた排他的な行列加算を多数回行う必要があ り、これを回避するための特別なアルゴリズムが要求されていた。今回の4 中心ESP 計算ではこの行 列への加算部分がクーロン項の1 要素のみであるため、比較的容易に行列加算が可能である。 具体的な実装方針としては、フラグメントA のシェルペアについてのループをGPU のブロックに配 分し、フラグメントB についてのシェルペアループをブロック内のスレッドに配分する並列化を行っ た。この際Fock 行列計算のGPGPU 化と同様に、シェルペアの並べ替えやSchwarz 不等式によるスク リーニングプロセスの分離、さらにはブロック間での動的負荷分散などを適用した。 このような並列化のもとでは、同一ブロック内の全てのスレッドが同じ行列要素に加算していくこ とになる。これはフラグメントB についてのシェルペアループ終了後に同一ブロック内スレッドで加 算要素のリダクション処理を行うことで置き換えられるが、このリダクション処理については共有メ モリの利用やシャッフル演算などのアルゴリズムが知られており、それを活用することで高速なリダ クションが可能となる。一方、異なるブロックでは必ず異なる行列要素に加算することも容易にわか る。このため結果の行列はGPU 全体でただ一つだけ持てば良く、各ブロックのマスタスレッドがこの 行列に単純加算する形で実装できる。 性能評価 実装したGPGPU 化4 中心ESP 計算コードの性能評価は筑波大学のHA-PACS ベースクラスタ[5] 2 ノードを用いて行った。HA-PACS ベースクラスタの計算ノードには2 台の8 コアIntel E5 CPU(Sandy Bridge-EP, 2.6GHz) と4 台のFermi 世代のGPGPU(NVIDIA M2090 GPU)、および128GB のメモリが搭載 されており、それらがInfiniBand QDR2 ポートにより接続されている。また複数GPU を活用するため ノードごとに4MPI プロセスを起動し、それぞれのプロセスがOpenMP 並列で4 CPU コアと1 台のGPU を利用することとした。コンパイルや実行にはIntel コンパイラ15.0.2, CUDA 6.5.14, IntelMPI5.0 をそれ ぞれ利用した。OpenFMO は耐故障性ミドルウェアであるfalanx により実装されたものを利用した。 性能評価としてアラニンの10 量体(112 原子、5 フラグメント) のFMO-HF/6-31G(d)計算を取り上げ、 この計算の4 中心ESP 計算[(ss,ss) タイプ] についての