逆探索-国立情报学研究所.pptVIP

頻出パターン発見アルゴリズム入門－ アイテム集合からグラフまで － Part 1 宇野 毅明 　（国立情報学研究所 　　　　　　　　＆総合研究大学院大学） 列挙（マイニング）の利用と難しさ 列挙 ≠ マイニング ? 「マイニング」「発見」は、解を見つける手法の総称 ? 「列挙」は、全ての解を重複無く見つける手法の総称 　? 完全性の保証が必要　 ? マイニングでは、完全性を問わないこともあるが、 　　多くの場合暗に完全性を要求している ? 列挙的なアプローチでは、 　－ 全探索を効率化 　－ 解候補を簡単に生成 　－ 候補から良い解を選んで、最適性を保証 　－ 全体像の把握、個別の解のランキング 列挙の利用法 ? 列挙は解を全て見つける ? 最適化してベストを見つける 　－ 最適解がどの程度「最適」なのか、最適解からはわからない 　　? 列挙なら、良い解の分布が分かる 　－ 目的関数が真の目的に合致していると限らない場合、 　　　　　解候補を列挙して真の目的で再評価 　－ 目的関数の評価が大変な場合、直接的な探索が難しい場合も、部分条件を満たす解を列挙して真の目的で再評価 　－ 解の完全性を利用して、データの評価値として利用 列挙の難しさ ? 列挙アルゴリズムを設計するときには、いくつかの難しさがある 　－　計算を速くする難しさ　（計算アルゴリズム） 　－　全てを見つける難しさ　（探索経路構築） 　－　重複を回避する難しさ （逆探索） 　－　同型なものを同一視する難しさ　（標準型 ） … 探索の難しさ ? 列挙の対象はたいてい、１つ見つけるのは簡単な物 ? 今まで見つけた物が全ての解であるか、どのように調べる？ 　－ 経路列挙で、今まで見つけた経路が全てか調べる？ ? クリークやパス（経路）は、隣接性を持つ 　－ クリークは１つずつ付け足すと全てが得られる 　－ パスは再帰的な場合分けができ、空の問題のチェックが簡単 ? しかし、こううまくいくものばかりではない。 　－ 極大な××、極小な○○ 　－ あの条件とこの条件とこの条件と．．． 　? 互いに隣接していない、場合分けも難しい 重複を回避する難しさ ? 探索はできるので、全て見つけることはできるとする ? しかし、どうやって同じものを２度出さないようにするか、あるいは同じ探索を繰り返さないようにするかは、それほど自明でない ? 簡単に回避するなら、解を全部メモリに保存すればよい 　? 解が多くなるとメモリ効率が悪い 　? 　動的にメモリを確保して解を保存するルーチンと、解を効率よく検索するルーチンが必要（?ハッシュがあればいい） ? 今の解を出力するか、あるいは探索を続けるか、過去の履歴を見ずに、解自体から計算できるようにすることが重要 計算の高速化 ? 高速化は、通常のアルゴリズムに対するテクニックが有効 ? 各反復の計算の高速化 　－ ２分木、ハッシュなどのデータ構造、 　－ 隣接行列　? 接続行列による疎性の利用 　－ よけいな処理を省いて、高速化 ? 計算オーダー減少 　－ キャッシュ、コードの最適化 ? 列挙の場合、解を少しずつ変更する操作が多いので、 　データを動的に管理する方法が有効 　　? 各頂点の次数、重み和、頻出度など ? 指数的に広がる再帰構造を使った高速化が特に有効 　アルゴリズム理論の利点 ? 大規模な計算には、アルゴリズム理論に基づいた技術が有効 　? アルゴリズム理論による高速化は、問題の大きさに対する計算時間の増加を抑える 　? 計算の結果は変化しない ３．頻出集合の列挙　（LCM） 頻出パターンの列挙 ? データベースの中に多く現れるパターンを全て見つける問題を 頻出パターン列挙（あるいは発見、マイニング）問題という 　データベース： トランザクション、ツリー、グラフ、多次元ベクトル 　パターン： 部分集合、木、パス?サイクル、グラフ、図形 トランザクションデータベース トランザクションデータベース： 各トランザクション T がアイテム集合 E の部分集合 になっているようなデータベース、つまり、?T ∈D, T ? E 集合 P に対して： P の出現：　 P を含むD のトランザクション P の出現集合 Occ(P)： P の出現の集合 P の頻出度 frq( P)： P の出現集合の大きさ 頻出集合 ? 頻出集合： D の定数σ個以上のトランザクションに含まれる集合 　（頻出度がσ以上の集合）（ σを最小サポートとよぶ） 例） データベース D の3つ以上のトランザクションに含まれる集合 パターンマイニングの応用 頻出集合の単調性