机器人双目识别系统原理与搭建.ppt

国内外关于该课题的研究现状立体视觉的开创性工作是从60年代中期开始的，美国MIT的Roberts首先成功地用程序完成了对三维积木世界的解释，把过去的二维图像分析推广到了三维，并且在随后的20年中迅速发展并形成了一门新的学科。1、华盛顿大学与微软公司宽基线立体视觉系统：对跨越的几千米内的地形进行精确的定位导航2、麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方法，能够在高速环境下对视频图像中的目标位置进行分割3、CMU大学基于图像的三维重构系统4、Katholieke大学可变内参数下的摄像机自标定技术：可自动实现自标定和分层重构5、日本大阪大学自适应的双目视觉伺服系统：对运动方式未知的目标的自适应跟踪6、浙江大学透视成像原理：采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测第5页,共21页，星期六，2024年，5月该课题的研究现状涉及面广（航空测绘、军事应用、医学诊断及工业检测等）可用性研究趋势评估指标的转变（重视内容、智能分析、多领域的应用）方法多样（边缘检测、区域图像分割及最小二乘算法等）第6页,共21页，星期六，2024年，5月研究内容：实现该过程一般包括如下几个功能模块：图像获取、摄像机标定、识别、定位、立体匹配。主要研究双目立体视觉系统的各项关键技术及其具体实现，使之能够精确定位手术器械，从而为机器人具体操作提供一定的辅助作用。第7页,共21页，星期六，2024年，5月解决的关键问题：机器人双目视觉的可用性指标标定的要求定位的要求识别的要求第8页,共21页，星期六，2024年，5月采取的研究方法步骤和技术路线需求评估构建研究个案优化验证验证方法的有效性标定内部参数两摄像机之间的位置关系++外部参数定位（目标点的深度测量）平台构建（两台摄像机、两个图像采集卡以及两台驱动电机）识别彩色图像转换灰质图像阈值图像分割第9页,共21页，星期六，2024年，5月机器人双目视觉的机构平台如图所示，两台摄像机位置相对固定，同时拍摄同一场景的图像，水平轴和竖直轴分别装有驱动电机以实现系统的仰俯和旋转动作。第10页,共21页，星期六，2024年，5月机器人双目视觉的机构平台或者使用双目摄像机更便捷，但是需要一块视频采集卡/item.htm?spm=686.1000925.0.0.hxqXcXid=45072212067双目摄像机购买链接/item.htm?spm=686.1000925.0.0.hxqXcXid=45378827214视频采集卡购买链接第11页,共21页，星期六，2024年，5月标定摄像机针孔成像数学模型：式中：s为比例常数,A为摄像机内部参数(固定不变),[Rt]为摄像机外部参数(表示摄像机坐标系与世界坐标系的转换关系,随世界坐标系的选定而变化),Mw和m分别表示目标点世界坐标及其对应的像点像素坐标的极坐标。第12页,共21页，星期六，2024年，5月识别实时准确地识别采集到的图像中的目标对象，是机器人视觉系统的关键，而目标识别的实质是图像分割。在图像分割之前，要将彩色图像进行灰度变换，例如可以将彩色图像变换为灰度图像。式中I——灰度值；R，G和B——RGB颜色空间中像素的3个分量第13页,共21页，星期六，2024年，5月识别目标图像和背景图像必须存在较大的色差，根据这个特征，对图像中的每个像素进行了色差处理，以增强背景和目标对象的反差，图像中每一个像素的色差表示为C=R-I，即：第14页,共21页，星期六，2024年，5月识别根据灰度图像的直方图，采用合适的阈值进行图像分割，设T是所取阈值，阈值分割理论如下公式所示。当图像中像素的色差值小于所设定的阈值时，将像素的灰度值设置为0；当图像中像素的色差值大于或等于所设定的阈值时，将像素的灰度值设置为255。目标对象与背景之间的色差值存在较大的差异。只要阈值选择恰当，就可以得到较好的分割效果。第15页,共21页，星期六，2024年，5月定位双目立体视觉计算目标点深度值的模型如图所示，f为CCD摄像机的焦距，b为两摄像机的中心距离，R为目标点的深度值，XL和XR分别是目标点在左右图中的位置。第16页,共21页，星期六，2024年，5月定位目标点在立体图像对中的视差为其在两图中水平方向上的距离，即视差D=|XL－XR|。