行列の圧縮による変化点検出の高速化-井手剛の研究紹介.pptVIP

行列の圧縮による変化点検出の高速化 IBM東京基礎研究所 井手 剛 変化点とは、データ生成機構にある変化が生じた時点。変化度とはその変化の度合い。 変化点検出 ≒ 知識発見 ≒ マイニング 異常検知 評判分析 etc 変化点の現れ方は多様である。 「きめ打ち」は避けたい なるべく無垢な心で変化点を捉えたい 特異スペクトル変換法（Singular Spectrum Transformation; SST）は “model-free”な変化点検出手法。「過去」と「今」のパターンを比べる。 SSTは計算が遅い！ 100×100くらいのSVDを、各時刻でやる必要がある。 問題： 特異ベクトル同士のカーネル関数を、高速に計算せよ ふたつの着眼点: (1) 内積をじかに求めたい、(2) 必要な情報を事前に圧縮したい (1) 知りたいのは内積（＝射影）だけだから、あらわに特異ベクトルを計算するのは無駄 特異ベクトルの計算を省略して、内積を直接求めることはできないか？ (2) 必要な特異ベクトルの個数は履歴行列の次元よりはるかに小さい。フルSVDをやるのは無駄 特異値の高い特異ベクトルの成分が「濃く」なるように、行列を圧縮はできないか？ の上位の固有ベクトルを濃縮するような部分空間を作ろう。 μを出発ベクトルとすることで、μと関係する成分だけを抜き出せる。 この論法を続けると、 という k 次元空間は、ρの上位の固有ベクトルの成分を最も濃く含む部分空間であることがわかる。 Implicit kernel 近似 ── 元の固有値問題が k×k の問題に帰着され、しかも内積計算が自動実行される 計算手順まとめ。2種類の特異ベクトル同士の比較は陰になされる。しかも、面倒なことすべてが、圧縮された空間内で行われる。 パラメターによっては、計算速度が100倍に。しかも目立った誤差はない。 まとめ 変化点検出は、知識発見工学の興味深い問題である。 特異スペクトル変換（SST）は、model-freeな変化点検出手法であり、多様な変化点に対応する能力がある。 しかし、とんでもなく遅い。 Implicit kernel近似という新しいアルゴリズムにより、SSTの計算速度を数10倍高速化することに成功した SSTの実用度は格段に増すことになる。 Implicit kernel近似は、SSTのみならず、固有状態への遷移確率の計算などの用途に使える汎用技術である。 Thank you. （参考） いわゆるオンラインSVDじゃだめなのか？Folding-in的仮定に基づくものは軒並み不可。 情報検索の分野では逐次更新式のSVDがよく研究されているが、変化点検出問題には不適。 仮定が成り立たない 「文書をためたDBがあまり時間変化しない」 「行列は疎な高次元行列」 代表的な手法 “folding-in”： t-1での特異ベクトルを使って、tでの特異ベクトルを表す近似的更新算法 Zha-Simon ［SIAM J. Sc. Com. 1999］： いわば改良folding-in。応用例多数。 いにしえなSVD諸手法を単に使っても、速度向上には限界がある。 何らかの方法で3重対角化し、QR反復などを使うのが定番 密行列： ハウスホルダー変換 疎行列： ランチョス法 計算量的上限が決まっている。越えられない壁がある。 学習手法ごとに、適切にサボりながらPCA/SVDをやる手法は地味ながらそこそこ関心を集めている 間引く Nystr?m 法 [Williams-Seeger, NIPS 00] Channubhotla-Jepson [NIPS 04] いろいろなrandomized algorithms 圧縮する Krylov部分空間法 数学的にはいにしえだが、 KDD業界ではあまり知られていない（らしい） *| 2006/11/01 | T.Idé | IBIS 2006 Tokyo Research Laboratory ? Copyright IBM Corporation 2006 Tokyo Research Laboratory ? Copyright IBM Corporation 2006 時系列データ 変化度 各時刻ごとに移動 特徴ベクトル 特徴ベクトル 変化度 SVD SVD Moskvina Zhigljavsky 2003 Ide Inoue 2005. テスト行列 履歴行列 time 最大左特異ベクトル 両者の食い違い＝変化度 SVD SVD ここが最も重い 左特異ベクトル上位 r 個