チュートリアル講演特定物体認識大阪府立大学.ppt

チュートリアル講演特定物体認識 大阪府立大学大学院　黄瀬浩一 目次 2 背景 DEMO 処理の流れ まとめ 物体認識 3 一般物体認識 特定物体認識 認識 応用 competitors: RFIDs, Barcodes a car the car(specific model X) intelligent robot image tagging object IDs class (category) instance 適用例：カタログショッピング 4 このハサミが欲しい！ バーコードの利用 5 認識による実現 6 認識 Webに アクセス 画像検索 7 クエリ 同じ特定物体を含む 画像の検索 検索システム 姫路城 クチコミ情報 の登録・検索 商品情報 の取得 感想・コメント の交換 趣味情報 仮想現実感 こんにちは レストラン 文書 カタログ 実世界指向Web 8 画像検索 DEMO 9 DEMO 10 DEMO: 5000物体 100万物体 Bag-Of-Features(BOF)表現 26億次元，100万ベクトル 記憶：5ペタ(1015)バイト 照合：250日 実際には 記憶：33GB(15万分の1) 照合：60ms/query(4億分の1) 特定物体認識の問題点と解決策 11 問題点 大規模化 解決策 先人に学ぶ 下手な鉄砲も数打ちゃ当たる 乾いた雑巾を絞る 当たらずといえども遠からず 処理の流れ 12 画像DB 特徴抽出 照合 検証 クエリ 画像 出力 画像表現 visual word の抽出 visual words 索引 付け 処理の流れ 13 画像DB 特徴抽出 照合 検証 クエリ 画像 出力 画像表現 visual word の抽出 visual words 索引 付け 特徴抽出 14 局所特徴量 SIFT(128次元), PCA-SIFT(36次元), etc. 局所特徴量の性質と問題点 15 性質 局所 高い安定性 高い識別性 問題点 数が多い：数百から数万／画像 記憶・照合が大変！ 局所特徴量をもとにした新しい画像表現 処理の流れ 16 画像DB 特徴抽出 照合 検証 クエリ 画像 出力 画像表現 visual word の抽出 visual words 索引 付け 画像表現 17 文書検索の表現方法 BOW (Bag-Of-Words) 先人に学ぶ Bag-Of-Words (BOW) 18 ベクトル化 画像表現 19 文書検索の表現方法 BOW (Bag-Of-Words) 単語はどうやって定めるか？ 局所特徴量には似たものがあるはず それらを一つの「単語」(visual word)として抽出 局所特徴量のベクトル量子化 Bag-Of-Features (BOF) 表現[Sivic2003] Bag-Of-Visual-Words, Bag-Of-Keypointsなどとも呼ばれる Bag of Features (BOF) 20 Fei-Fei Li (/teaching.html)を改変 局所特徴量 （特徴ベクトル） Bag of Features 21 クラスタリング visual word Bag of Features 22 visual wordを次元 とする特徴ベクトル 共通の「語彙」で 様々な画像を表現 頻度に基づく 重みを記録 個々の画像の表現 23 画像表現の作成 24 局所特徴量 画像表現の作成 25 visual word 局所特徴量 最近傍探索 実数値ベクトル 整数値 （visual word ID） 画像表現 26 先輩に見習う 文書検索の表現方法 BOW (Bag-Of-Words) 単語はどうやって定めるか？ 局所特徴量には似たものがあるはず それらを一つの「単語」(visual word)として抽出 局所特徴量のベクトル量子化 Bag-Of-Features 表現 [Sivic2003] いくつの単語が必要か？ 現状の比較 27 一般性 特殊 一般 識別対象 の数 102 105 visual word の数 特定 物体認識 一般 物体認識 106 107 102 103 105 1010 108 特定物体認識の場合 28 認識率 Visual wordの数は多ければ多いほどよい [Nistér06]では局所特徴量2～3個に対して1個 究極は全部別物として保存 我々の場合 メモリ量・計算量 元の木阿弥 記憶に膨大なメモリ量 visual wordとの照合に膨大な計算量 別の方法が必要 量子化に工夫 スカラ量子化 29 次元ごとに量子化 k level / 次元, D 次元 → kD個のvisual wordを表現 k=4, D=36でも1021 100万画