pbs＋mauiuser’sguide.ppt

PBS超入門 同志社大学大学院 知的システムデザイン研究室 輪湖 純也 行列のできるラーメン屋さん ジョブ管理システム（JMS） Job Management System： バッチジョブの管理を効率よく行うためのシステム． 一人のユーザがシステムを占有してしまうことを避け,各ユーザにシステム資源(CPU時間,メモリ領域)を公平に割り振る． JMSに必要な機能 JMSの例 DQS(Distributed Queuing System) Florida State University，/~pasko/dqs.html LSF(Load Sharing Facility) Platform Computing Corporation，/ Condor University of Wisconsin，/condor/ Generic NQS University of Sheffield，/ SGE(Sun Grid Engine) Sun Microsystems，/ PBS(Portable Batch System) NASA，/ PBSとは？ Portable Batch System 現在，Linux Cluster環境で最も広く使われている Veridian Systems社によってNASA向けに開発されている BSDライセンスの下で自由に利用できる Linux,BSD,Solaris,AIX,HP/UXなどUnix-likeな環境で利用可能 商用版である，PBS Pro (/)もある PBSの使い方 スクリプトファイル（1/3） シングルジョブ用スクリプト スクリプトファイル（2/3） スクリプトファイル（3/3） 並列ジョブ用スクリプト(デュアルCPUの場合) PBSの構成 Job scheduler 役割：リソースマネージャ(PBS_Server)に対して，どのジョブをいつ?どこで実行すべきかに関する情報を提供する． PBSは，Pluginとして別スケジューラを使用することを許可 デフォルトスケジューラ Maui Scheduler スケジューリング?ポリシー 基本ポリシー：後からqueueに投入されたジョブであっても，空いているリソースがあれば，先に実行する． 基本ポリシーに伴う問題点 大規模なリソースを要求するジョブの実行が妨げられる． 要求するリソースがなかなか利用可能にならないため． デフォルトスケジューラのポリシー Starving Job メカニズム Maui schedulerのポリシー ジョブの経過時間に基づくノード予約システム デフォルトスケジューラ 基本ポリシー： 要求されたCPU時間によって，ソートされる．つまり，最も実行時間の短いジョブから実行される． Starving Job メカニズム： あらかじめ定義された時間(デフォルトでは24時間)以上ジョブが実行可能状態のままである時，開始される． 一旦このメカニズムが開始されると，スケジューラはこの“starving”なジョブがスタートされるまで，新しいジョブのスタートを止める． Maui scheduler Mauiの役割 (1)情報提供 ユーザへのジョブ及びqueueなどの付加情報の提供 管理者へのリソースの現状や統計情報の提供 (2)スケジューリング BackfillなどMaui独自のスケジューリング方式 Mauiの機能 Backfill（充填） Advanced Reservations（高度な予約） Quality of Service(QoS)（サービスの品質） Statistics（統計） Diagnosis（分析） Maui feature 基本ポリシー： いくつかの要因によって決定された「優先度」によるソート． Backfill： 最も優先度の高いジョブの実行を遅らせることなく，優先度の低いジョブの実行を許すメカニズム． その際，最も実行時間の短いジョブの情報を使用． Mauiは，全てのジョブの「最早完了時刻」を把握している． そのために，ユーザ側にジョブの実行時間の見積もりが必要． -l walltime = [hh:mm:ss] により設定可能 この見積もりを正確にすることが，このメカニズムを有効に機能させるかどうかのキーとなる． Backfill 優先度：B C　 Backfill 優先度：B C Backfillにより，CがBより先に実行 Backfill 優先度：B C Backfillにより，CがBより先に実行 実際は，Aが時間1で終了(2時間多く見積もっていた) Aの終了時刻を正しく見積もっていれば，Bは時間1から実行されたはず． Advanced reservation