八二二--摄像头目标跟踪系统.doc

队名：八二二 队员：高文渊，周嘉杰，姚华升 时间：2017.5.20 组别：高级组——基于摄像头的目标跟踪系统目录 一、绪论 3 二、设计要求 3 三、方案比较与选择 5 四、摄像机标定 5 五、物体识别 9 六、三维坐标的计算 11 七、总结 论文关键词：双目视觉，摄像机标定，特征提取，视差，opencv 一 绪论 众所周知，人类通过各种感官来感知世界，而视觉在其中扮演者举足轻重的角色，我们所获得的信息有80%来源于视觉。当下，机器人的研发已经成为潮流，机器人与外界的信息交互方式也多种多样，而人们对机器视觉更是怀有极大的期待。一旦机器人拥有的视觉功能，将会更好的工作于一些危险，或者人类难以触及的地方，也可以更大的提高生产效率和生产的自动化程度。随着计算机计算功能的提高，使计算量浩大的图像处理成为可能，促进了机器视觉的进一步发展. 二 方案的比较与选择 摄像机标定方式的选择： 方案一：opencv自带函数的标定 方案二：matlab标定工具 比较：据大神所说，matlab标定的结果会准确一点，而且matlab 标定简单易操作。 乒乓球识别方法： 方案一：转化为灰度图后，再用霍夫圆变换 方案二：通过颜色空间进行筛选识别 比较：对于霍夫圆变换而言，灰度图的噪声较多，影响识别，而通 过颜色空间进行筛选能够达到更好的效果。 四 摄像机的标定 摄像机模型 对于假想的针孔摄像机，从针孔到屏幕的距离就是焦距。如图，f是摄像头的焦距，Z是摄像机到物体的距离，X是物体长度，x是图像平面上的物体图像，其数值可以通过三角形-x/f=X/Z得到。 实际上，成像仪的中心通常不在光轴上，我们因此引入两个新的参数Cx和Cy，对可能的偏移进行建模。这样物理世界中的点Q,其坐标为（X,Y,Z),以某些偏移的方式投影为点（Xscreen,Yscreen),如下所示： Xscreen=fx(X/Z)+Cx, Yscreen=fy(Y/Z)+Cy 注意：焦距fx实际上是透镜的物理焦距长度与成像仪每个单元尺寸Sx（单位是像素/每毫米）的乘积。同样的道理也适用于fy与Sy 基本投影几何 我们将定义摄像机的参数（如fx,fy,Cx和Cy)重新排列为一个3*3的矩阵，该矩阵称为摄像机的内参数矩阵。那么将物理世界上的点投影到摄像机上，可以用下式表示： 透镜畸变 Xcorrected=x Ycorrected=y 旋转矩阵与平移向量 标定方法是把摄像机对准一个有很多独立可标识的物体，通过在不同角度观看这个物体，可以利用通过每个图像计算摄像机的相对位置和方向以及摄像机的内参数。 如果依次绕x,y和z轴旋转角度Ψ，α，β，那么总的旋转矩阵R是三个矩阵Rx(Ψ),Ry(α),Rz(β)的乘积，其中： Rx(Ψ)= Ry(α)= Rz(β)= 旋转矩阵R=Rx(Ψ)Ry(α)Rz(β),平移向量T=目标原点-摄像机原点。 点在世界坐标系中的坐标Po到在摄像机坐标系的坐标Pc: Pc=R(Po-T) 三个角度来表示三维旋转，三个参数（x,y,z)来表示三维平移，摄像机内参数矩阵有4个参数（fx,fy,Cx,Cy),因此对每个视场的解需要10个参数。使用一个平面物体，每个视场固定8个参数。因为不同视场下旋转和平移的6个参数会变化，对每一个视角用来解摄像机内参数矩阵的两个额外参数需要约束，因此求解全部几何参数至少需要两个视场。 单应性 如果对点Q到成像仪的点q的映射使用齐次坐标，这种映射可以用矩阵相乘的方式表示。有如下定义： Q=[X Y Z 1] q=[x y 1] 则可以将单应性简单表示为：q=sHQ 物理变换部分是与观测到的图像平面相关的部分旋转R和部分平移t的影响之和。因为使用齐次坐标，我们可以把它们组合到一个单一矩阵中，如下所示： W=[R t] 则q=sMWQ,其中摄像机矩阵为M= 考虑到一般性，我们可以选择定义这个物体平面，使得Z=0,具体如下： 映射目标点到成像仪的单