视体积情报色彩情报统合3次元形状复元.pptVIP

視体積情報と色彩情報の統合による3次元形状復元 龍谷大学大学院 理工学研究科　電子情報学専攻 T01M021　脇坂隆史 指導教員　岡田至弘　教授 研究背景 映像技術の発達によりリアリティの高い3Dモデルが求められている 複雑形状物体を手作業で作るのは困難 　　　↓ CVにおけるImage-Based-Modelingが有効 Shape-from-X 画像上の手がかり(X)から3次元情報を推定する手法 Shape-from-Focus(Defocus)　焦点調節 Shape-from-Shading　陰影からの形状推定　 Shape-from-Texture　テクスチャからの形状推定　 Shape-from-Contour　輪郭からの形状推定　 Shape-from-Highlight　ハイライトからの形状推定　 Shape-from-Motion　運動からの形状推定　 Shape-from-Silhouettes　シルエットからの形状推定 Shape-from-Silhouettes 物体領域のシルエット(形状情報)を手がかりに3次元形状を得る手法 アルゴリズムがSimple 比較的高精度な形状が得られる Visual Hull Voxel表現で復元 Visual Hull 目的 Shape-from-Silhouettes ↓ 視体積情報（Visual Hull) + 色彩情報（Color Consistency) ↓ 復元精度の向上 Shape-from-Silhouettesの問題点 偽の凸面の発生 凹面の復元は不可能 ↓ 真の形状を内包する物体の概形 ↓ 形状情報を用いることの限界 色彩情報からの3次元形状復元 色彩情報を手がかりとした復元手法 Voxel Coloring Color Consistency 利点 形状復元と色彩復元が同時に可能 より真に近い形状(Photo Hull)が得られる 条件により凹面の復元が可能 Color Consistency Photo Hull Color Consistencyの問題点 色境界の変化に弱い 復元形状に隙間ができる ランバート面（完全拡散面）の仮定 どの方向から見ても同じ明るさの面 中心射影カメラ行列の算出精度 投影誤差の影響大 視体積情報と色彩情報の統合 Shape-from-Silhouettes 形状情報を利用 利点　テクスチャの影響を受けない 欠点　凹面の復元は不可能 Voxel Coloring 色彩情報を利用 利点　条件により凹面の復元が可能 欠点　色境界に弱い 視体積情報と色彩情報の統合 Shape-from-SilhouettesとVoxel Coloringの手法を統合 Shape-from-Silhouettes 対象の概形（視体積情報）を安定に復元 Voxel Coloring Color Consistencyによる詳細化 偽の凸面の軽減 凹面の復元 ↓ 復元精度の向上 オクルージョン問題 色の一致を調べているために、 着目するVoxelがどのカメラから見え ているのか→Voxel Visibility が問題となる オクルージョンの回避 Voxel Visibilityの回避 Occlusion Bitmap セルフオクルージョンの回避 Multi Sweep 視線情報を手動で与える →任意視点からの復元を可能 Occlusion Bitmap Multi Sweep 視線情報 実験 凹面を持つ物体 画像解像度(800×600)、24視点 結果(対象物体1) 結果(対象物体2) 精度評価 体積評価 真値との比較 色再現性評価 色差による評価 色差式 ASTM(American Society for Testing and Materials)の等級分けによる許容誤差の評価 達成度が５０％を超えた等級を評価値とする 色再現性評価 体積評価(対象物体1，2) 色再現性評価(対象物体1) 色再現性評価(対象物体２) まとめ Shape-from-SilhouettesとVoxel Coloringの手法を統合 ↓ 凹面を持つ物体に対して本手法を適用 中心射影カメラ行列の算出精度が形状?色彩の復元精度に影響を与える 今後の課題 中心射影カメラ行列の算出精度向上 カメラ位置の自動決定 Voxel Visibilityをより正確にもとめる 色境界にロバストなColor Consistencyの評価方法 閾値問題 非ランバート面に適用可能な復元手法 付録 実験(実物体) 対象物体（Cube) 結果1(Cube) 結果2(Cube) 体積評価(Cube) 色再現性評価(