核融合のためのスケーラブルな分散データ収集保存系の開発研究.pptVIP

平成15年12月18日(木) 総研大講義「プラズマ基礎講座」実験データ処理の実例 核融合科学研究所 大型ヘリカル研究部 担当：森崎友宏、中西秀哉 本研究で取り扱う対象システム 計測システムの中でデータ処理系 は... （計測対象） … 高温プラズマほか 検出 … センサー 変換 … ADC，カウンター 処理?判断 … コンピュータ 伝送 … ケーブル，バス，LAN 収録 … HDD，MO，MT （機器）制御 … フィードバック?コントロール 出力 … アクチュエータ 核融合プラズマ計測のデータ処理システムを対象に 各要素(利用)技術 要素間やユーザとのインターフェース技術 ? 巨大な I/Oシステム 背景と課題 従来型の核融合計測データ処理システムでは対応不能 他分野システムの移植も困難 ? 固有のシステム開発へ 増加する計測データと定常化 ~2桁の収集量増加に（今後も含めて）どう対処するか？ 従来のバッチ処理のみからリアルタイム収集へどう移行するか？ データ増加への対処 スケーラブルにI/O能力が増強 スケーラブルに保存域を増加 長時間準定常化 プラズマ実験は長らく1ms~10sの短パルス放電 データ処理系は短パルス後のバッチ処理 のみ 計測データ処理系の定常（実時間）運転化が必須 高生成率の計測データそのままは実時間で取り扱えない？ データ処理システムの課題 … LHD計測データ処理システムにおいて スケーラブルにI/O 性能を増強 できる高い拡張性 データ大容量化に耐える高速性とシステム柔軟性 ?疎結合な分散型システム形態 並行分散系 並列数を上げてスケーラブルにI/O性能を増強可能 RT用などデジタイザ多様化にもフレキシブルに対応 分散系プログラム開発 手順的な処理 →→→ 機能?データ毎の主体的処理へ オブジェクト指向開発（OOD）への移行 LHDデータ処理系への要件 0.6~1GB/shot, 3000chのバッチ処理を1分以内に（LHD当初） 3分間隔という短い処理時間で連続実験： 150~250 shot/day 将来の計測器増設?データ量増加に対応可能なこと ? MPP系 遠隔実験のためデータ取得と（計測器）遠隔操作のインターネット化 ? ユーザ側開発（EUD）環境，オンラインストレージ，計測器制御系 データ参照はインターネット経由で24時間どこからでも ? 分散ストレージ ↓ 拡張に向けたスケーラブルなI/O性能とシステム自由度 ↑ 長時間（準定常）放電対応 … 実時間処理 無停止連続運転のプラズマ計測デジタイザ系 サンプリング?レート（~1MHz），チャネル数（50~100ch）を落とさずに 放電持続中にデータ収集?処理?表示まで 大規模並行分散と機能分散 機能上の違いで分離 データ収集/計測器制御 サーバ/クライアント + 多数サーバ群による同時並行での収集処理 ? 単機能でポータブルなデータ処理エレメント ? 並列度を増やすことでスケーラブルな性能向上が可能 データ収集エレメント データ収集エレメントを30種の計測で並行稼働 PC=SCSI=CAMAC???? ~1MB/s プログラム言語C++でデータオブジェクトの取扱いを統一 オブジェクト指向データベース（ODBMS）にデータ格納 ? 周辺機器置換や並列度増加で???????な性能向上 オブジェクト指向の開発 オブジェクト指向データベース管理システムODBMS利用 メモリ上の一時（=揮発性）オブジェクトをそのままDB中に永続化（=保存）できる ODBMSオブジェクト直接参照 参照クライアントが直接永続性オブジェクトを取出し可 ?　保存ファイルの入出力コードが不要 ＝ 開発コスト削減 オブジェクト指向の開発（続） 分散系を再結合化するミドルウェアHARNESS 仮想オブジェクト共有空間 データオブジェクトの出現に同期した処理が可能 ODBMSのクライアント?セントリックな処理 ? データ量，エレメント数の増加と共に… ネットワーク通信処理が大量で速度低下が発生 システムI/O性能の最適化 データ収集系に最も重要な高I/O性能を補償する工夫が必要 … データ収集速度の改善 マルチスレッド化で各I/Oポート，CPU利用を最適化 組込みデータ圧縮 I/Oが高速なODBMSへ乗換えO2?ObjectStore ? CAMAC収集 0.7~1 MB/s システムI/O性能の最適化（続） アプリケーションサーバ データ取出しをC/S 二階層 ? 疎結合な三階層モデルに IPソケット利用 RDBファシリテータと組合せ ? 分散ストレージを可能に メモリ上に最終データ保持 ? データ取出しI/O速度 1.7 MB