韩青-2015-11-05-技术报告.docx

技 术 报 告 韩 青2015-11-05第十二章涵盖了其他的3D形状和表观建模方法。这包括经典的由X到形状的方法，例如由阴影到形状，由纹理到形状，由聚焦到形状，由光滑的遮挡轮廓（contour）和剪影（silhouette）到形状。与所有这些被动计算机视觉方法不同，另一种选择是使用主动的距离测定，即将模式化的光投影到场景上，通过三角测量恢复3D几何。这些3D表达的处理通常都涉及插值或几何化简，或使用诸如表面点集的其他表达。从单幅或多幅图像到部分或全部3D的方法一起常称作基于图像的建模或3D摄影学。本章探讨了三个特殊的应用领域（建筑物、人脸和人体），他们使用基于建模的重建来对感知的数据进行参数化模型拟合；还探讨了表观建模主题，即估计纹理图、反照度甚至有时是描述3D表面的表观的完整双向反射分布函数（BRDF）的方法。1、由阴影到形状，大部分由阴影到形状的算法都假设所考虑的表面具有均匀的反照率和反射率，且光源的方向要么已知，要么可以使用参考目标标定得到。在假设光源和观察者都在远处的前提下，亮度的变化（辐照度方程）变成单纯的局部表面方向的函数，其中(p,q)=(zx,zy)是深度图的导数而R(p,q)被称为反射图。由于很少有表面具有一个统一的反照率，因此由阴影到形状需要与其他方法相结合或者通过某种方式的扩展才能变得有用，一种方式是与立体视觉匹配或者已知纹理（表面模式）相结合。立体视觉和纹理成分可以提供纹理区域的信息，而由阴影到形状则填补了具有均匀颜色的区域的信息而且也可以提供关于表面形状的更精确的信息。另一种方式是使用多个可以选择性开关的电源（光度测量立体视觉）。2、由纹理到形状，该算法需要的处理步骤：抽取重复模式或者局部频率的测量以计算局部仿射变形，推测局部表面方向。当原始模式有规则时，可以将一个规则但轻微变形的网格拟合到图像上，并通过这个网格来进行各种图像替换或者分析任务，由曲面镜的反射中观察规则模式的形变，可用于恢复表面的形状，也可以从高光流（specular flow），即从移动的摄像机观察到的高光运动推测局部形状。3、由聚焦到形状，物体深度的一个强线索是模糊的程度，它随着物体表面远离摄像机焦距而增加。需要研究的问题：A.在向远离焦平面方向移动时，两个方向上的模糊程度都会增加，因此，需要使用两幅或更多幅使用不同焦距设置捕捉的图像或者在深度方向上平移目标并寻找具有最大锐利度（sharpness）的点。B.物体的放大率可以随着焦距的变化或物体的移动而变化，这种变化可以显式地描述（使得对应更加困难）或者使用远心光学描述，它近似一个正交投影摄像机并需要在镜头前有一个光圈。C.散焦的程度必须可靠的估计出来，一个简单的方式是计算一个区域内梯度平方的均值，但这种方法有几个问题，包括图像放大问题。更好地解决办法是使用精心设计的有理多项式滤波器。4、完整人体建模与跟踪：背景差分、初始化与检测、使用流跟踪、3D运动学模型、概率模型、自适应形状建模以及动作识别领域中的一些原创及被广泛引用的论文。A.背景差分，建立背景模型以提取对应于人的移动前景物体（轮廓），一旦轮廓从一个或多个摄影机中被提取出来，就可以用可变性模板或其它轮廓模型进行建模。在时间上跟踪这样的轮廓可以支持对在场景内移动的多个人的分析，包括建立形状和表观模型以及检测他们是否携带物品。B.初始化与检测，为了以全自动的方式跟踪人，有必要首先在各个视频帧中检测（或者重新获取）他们的存在。C.使用流跟踪，人体及其姿态的逐帧跟踪可以通过计算光流或逐帧匹配人体肢体的表观得以增强。D.3D运动学模型，使用人体形状和运动的一个更精确的3D模型，人体建模和跟踪的效果可以大大提高。一个流行的方法是在运动学模型中将每个刚性肢体与一个椭圆体或超二次型结合，然后这个模型可以通过匹配从已知背景中抽取出来的轮廓或者通过匹配和跟踪遮挡边缘的位置，被拟合到一个或多个视频流的每一帧上。也可以使用时序模型，通过分析关节角度对时间的函数，以改进周期性运动，如步行的跟踪。E.概率模型，从数据得到不同肢体在不同时间的条件概率，并使用粒子滤波进行最终的姿态推断。F.自适应形状建模，全身建模和跟踪的另一个重要部分是参数模型到视觉数据的拟合。G.活动识别，人体建模中最后一个广泛研究的主题是运动（motion）、活动（activity）和动作（action）识别，经常识别的动作包括行走和奔跑、跳跃、舞蹈、拾取物品、坐下和站起以及挥手。 第十三章讨论过去二十年来发展起来的众多基于图像的绘制方法，包括简单的方法，例如视觉插值、分层的深度图像、子画面（sprite）和图层，还有光场和照度图的更一般的框架和诸如环境影像形板（environment matte）的更高阶场。这些方法的应用包括使用照片导览来浏览照片的3D收藏和将3D模型作为物体制