卒研発表.ppt

　データベースによる並列処理 情報論理工学研究室　 三宅健太 本研究の背景 パラレルクエリ * * データベース 検索 応答 ユーザ 膨大な量からなるデータ １つの応答時間が、 非常に大きなもの となってしまうこと がある。 × × 3. データのサイズが大きすぎる。 最大の原因!! 原因 2. インデックスの張り方 1. SQL文の文法 あらかじめデータを細分化し、手分けして処理する。 ＰＨＰ データベース 計算機 解決策 目的 分割されたテーブルにデータを挿入し、処理速度の向上の目指す。 データベースとの連携に優れたプログラムの表記法 挿入 取り出す 出力 テーブル テーブル テーブル テーブル パラレルクエリ 逐次クエリ データを順番に処理していく データを分割し、結果をまとめる。 クエリ クエリ 結果 結果 データベース環境の構築 準備 Windowsの標準環境には、DBは付属していない。 XAMPP MySQL TeraPad Apache データベース テキストエディタ 必要なソフトウェアをインストールしなければならない。 MySQLによる逐次クエリ パラレルコードによるパラレルクエリ 研究内容 双方のクエリを実行し、それぞれ処理時間を測定する。 それぞれの結果を検証し、双方の結果を比較する。 検証手順 [1]データの分割?挿入 [2]MySQLによる各テーブルへのクエリ処理 [3]パラレルコードによる各テーブルへのクエリ [4]結果をまとめる 各テーブルを(T1-----Ti(2=i=10)) とし、テーブル全体をマージして比較用のテーブルT0を作成する。 Ｔ０ 例 文字列 文字列 分割なし 2分割 Ｔ２ Ｔ１ 300万レコード 150万レコード 150万レコード 各クエリごとにレコード数が均等になるように2～10個のデータに分割?挿入する。入力データは、文字列（a～z）をシャッフルしたもの。 [1]データの分割?挿入 挿入 挿入 文字列 Ｔ２ Ｔ１ 挿入 MySQL 例 2分割 Ｔ０ MySQL マージ結合 [3]パラレルコードによる各テーブルへのクエリ 各テーブルにパラレルコードを使用して、”sql”と配列された文字列を含む行を出力すると命令し、その処理速度を測定する。 Ｔ０ MySQL 例 分割なし 2分割 Ｔ０ MySQL マージテーブル 逐次テーブル クエリ 結果表示 クエリ 結果表示 Ｔ０ MySQL 例 分割なし 2分割 MySQL クエリ 結果 クエリ 結果 Ｔ１ Ｔ２ [2]MySQLによる各テーブルへのクエリ処理 各テーブルに入力された文字列（a～z）から、”sql”と配列された文字列を含む行を出力すると命令し、その処理速度を測定する。 出力された結果を作成した一時ファイルに追記し、処理速度の測定の結果を表示する。 一時テーブル 例 分割なし 2分割 結果 結果表示 一時テーブル 結果 結果表示 追記 追記 追記 集計 Ｔ０ Ｔ１.T2 出力 [4]結果をまとめる 各テーブルの処理がすべて完了しているかをチェックし、 MySQLによる逐次クエリの結果を、各分割ごとに比較 パラレルコードによるパラレルクエリの結果を、各分割ごとに比較 双方のクエリの結果を検証し、比較 MySQLによる逐次クエリ パラレルコードによるパラレルクエリ 結果