計測技術としての奥行き情報の抽出 - sens 大阪大学.pptVIP

多重フォーカスカメラと符号化開口を用いた実時間距離画像計測 京都大学大学院　情報学研究科 日浦慎作*　松山隆司 （*現　大阪大学大学院　基礎工学研究科） Depth from Defocus ぼけ量の解析から距離を求める手法 受動的原理 - リアルタイム計測の可能性 小型?計量な計測装置の実現可能性 ２枚以上の異なるパラメータで得た画像から距離を計算 (relative blurring analysis)（小型な多重フォーカスカメラが必要） 多重フォーカスカメラの構造 カラーCCDカメラを改造 各CCDを1mmづつ光軸方向に移動 プリズムの再蒸着による分光特性の除去 通常の3CCDカメラと同等の寸法／重量 テレセントリック光学系 前焦点面に開口絞りを配置 像面間の像の大きさ／明度が等しく，ぼけ量だけが異なる DFD への応用：Nayar ら　（参考文献 [7]） Depth from Defocus の問題点 ぼけ現象(=LPF)により画像上の情報が欠落 距離計測の安定性が低く，高品質な（ノイズの少ない）画像が必要例：Nayar らは ２５６ 枚の画像を入力／加算 テクスチャの種類や機器の調整に敏感 ぼけ現象の性質を，解析に適するように最適化すれば，安定性が向上する可能性がある→瞳形状の構造化 構造化瞳を持つ多重フォーカスカメラの構成要素 ぼけカーネルは瞳形状と相似な図形 カーネルの縮小率は被写体距離に応じて変化 構造化瞳を持つ多重フォーカスカメラ ぼけの生成過程 フーリエ変換を用いた距離推定 ぼけ生成過程のフーリエ変換 複数入力画像を用いた原画像成分の消去 距離推定のための評価関数 処理の流れ 原画像の復元 逆フィルタ計算 複数の画像から復元するため安定 ぼけカーネルが構造化されており，原画像の情報が残存しているため復元が可能 開口形状に求められる性質(1) 空間周波数特性が構造を持ち解析しやすい ぼけが大きくても高周波ゲインが落ちない 開口形状に求められる性質(2) 通常用いられる円形開口は，必ずしも適した開口形状であるとはいえない（美しいぼけを生じさせるために円形を採用） 簡単な例：２ホール開口 ぼけカーネルのフーリエ変換は cos 関数 cos 関数の周期は物体距離によって変化 距離推定の安定性 距離値のずれに関する評価関数の変化 実験：入力画像 実験：復元された完全合焦画像 実験：復元された対象の形状 畳み込みを利用した距離解析 実験 瞳形状の対称性 距離の誤推定を減少することができる 瞳形状の対称性と計測精度 入力画像の記録を用いた動物体計測 ビデオディスクレコーダにRGB画像として記録 ＹＣ変換デジタル圧縮のため，RGBチャネル間のクロストーク等の画質劣化が大きい 計測結果：指の動作 画像処理ハードウェアによる実時間計測 畳込みによる距離計測手法は，ハードウェアへの実装が容易 並列画像処理ハードウェア IMAP-Vision を用いて計算時間を計測 性能:256PE により計 10GIPS 理論上 25frames/sec の距離計算が可能（現有ボードにRGB入力IFがないため，実測実験は行っていない） まとめ 小型／計量な多重フォーカスカメラを製作 Depth from Defocus に構造化瞳を導入 安定な距離解析が可能となった FFT を応用した距離計測／完全合焦画像復元 畳込みを応用した距離計測 低品質な画像が利用可能なため，記録画像の利用による動物体計測が実現できた ハードウェアにより実時間計測が可能である * * Depth from Focusing レンズを駆動し合焦点を探索 - 物理的駆動が介在するため実時間計測に向かない Depth from Defocus ぼけ量の解析から距離を推定 - 実時間計測が可能 機械的駆動部がない 単一画像の解析 「ぼけを含む平面的写真」と，「立体的な被写体」の区別が付かない 複数画像の相対解析 被写体のテクスチャによらず解析が可能 通常の結像光学系 テレセントリック光学系 ぼけカーネル a(x,y) 畳み込み 畳み込み 畳み込み 入力画像 i1(x,y) 入力画像 i2(x,y) 入力画像 i3(x,y) 距離 u 合焦点 v 原画像 s(x,y) k1倍縮小 k2倍縮小 k3倍縮小 ぼけ生成の数学モデル Ｗｍ：像面の位置 p, q：　空間周波数，　v：　焦点の位置 除算により共通因子（入力画像成分）が消去される すべての入力画像の組み合わせについて， 入力画像同士を除算したもの（第１項）と， ぼけモデル（第２項）の差が最小になるような v（焦点の位置）の値を探索する 小領域切り出し＆FFT 除算による原画像成分の除