基于嵌入式系统的多摄像头图像采集.pptVIP

智能科学与技术专业智能科学与技术专业基于嵌入式系统的多摄像头图像采集 答辩人：桂旻指导教师：刘忠信2015年6月2日-1-研究背景及意义系统硬件平台介绍单摄像头图像采集多摄像头图像采集与图像处理总结与展望01注释：DDTL-DistributionDiagramTableLook-up02主要内容研究背景及意义随着机器视觉技术的发展，越来越多的机器人工作时需要采集周围环境的图像信息。对某些机器平台来说，周围环境的全景信息更是其进行定位、移动规划时所需的必要信息。本课题的目标在于搭建基于嵌入式的多摄像头图像采集系统。与一般通过特殊设备（如鱼眼镜头、折射反射镜）来实现全景图像采集功能的系统不同，本课题通过多个市面上一般的USB摄像头设备采集周围的图像信息，再通过图像拼接算法将这些摄像头采集到的图像数据合成全景图片。系统硬件平台介绍TQ210开发板实物图ARM开发板选择广州天嵌计算机科技有限公司TQ210开发板采用三星Cortex-A8S5PV210核心板，CPU运行速度最大可达1GHz，32/32KB一级缓存，512KB二级缓存。自带3D图形加速引擎（SGX540),2D图形加速，最大支持8192×8192分辨率。系统硬件平台介绍摄像头实物图摄像头选择中心微公司出品的具有150度广角的USB摄像头。该摄像头的型号为XS998，有1200万像素，免驱，感光元件类型为CMOS，最大分辨率为1280×720，支持UVC协议系统硬件平台介绍硬件平台搭建本课题的最终目标是实现基于嵌入式的多摄像头全景图像采集系统。由于需要采集周围环境的全景图像信息，所以对摄像头的位置有一定的要求。摄像头摆放的相对位置如右图所示。三摄像头相对位置图搭建Android开发环境相关驱动介绍JNI技术图像采集程序01.02.03.04.单摄像头图像采集安装JDK（JavaSEDevelopmentKit）；01安装Eclipse；安装AndroidSDK（SoftwareDevelopmentKit）；安装ADT（AndroidDevelopmentTools）插件；在Eclipse中设定AndroidSDK主目录；02030405搭建Android开发环境相关驱动介绍（1）V4L2（VideoforLinuxtwo）驱动/dev/videoXV4L2设备号字符设备驱动程序核心（cdev）V4L2驱动核心平台V4L2驱动（Video_device，v4l2_dev）具体的sensor驱动（v4l2_subdev）摄像头硬件设备用户空间内核空间内核空间硬件V4L2作用效果图0102UVC(USBVideoClass)是由微软发起的一种USB视频类标准,主要用于摄像头,扫描仪等图像设备。该协议主要用于提供一种基USB的视频图像设备的一种视频图像传输的标准。UVC驱动的实现源码位于drivers/media/video/uvc/uvc_driver.c中。当系统外接USB图像采集设备如USB摄像头时，系统就会调用该文件，检测USB设备所能实现的功能，将该USB图像采集设备注册成一个V4L2视频设备，并将该video设备文件存放在系统的/dev目录下。（2）UVC（USBVideoClass）相关驱动介绍JNI技术JNI是Java平台上定义的一套接口标准。它的存在使得Java能和C语言等其它编程语言进行交流，即让Java能调用用C语言编写的代码。具体来看，当Java想调用C语言编写的文件，需先将这个文件生成一个动态链接库，再将这个动态链接库导入到Android程序中。图像采集程序打开摄像头驱动程序获取驱动功能VIDIOC_QUERYCAP设置视频格式VIDIOC_S_FMT为设备驱动申请帧内存VIDIOC_QUERYBUF映射帧缓存到用户空间mmap()帧缓冲入队列，交给内核驱动VIDIOC_QBUF启动视频采集VIDIOC_STREAMON从缓冲序列中获取一帧视频VIDIOC_DQBUF帧缓冲入队列，交给内核驱动VIDIOC_QBUF停止视频采集VIDIOC_STREAMOFF关闭摄像头驱动程序继续采集是否一、采集流程图像采集程序二、主要步骤（1）打开设备文件。（2）查看设备功能，若设备能采集图像，设置输入图像的格式（3）设置设备采集的图像编码格式为YUYV（4）向驱动申请帧缓冲，用来存放采集的图像数据。本系统申请了4个缓冲区。（5）将申请到的内存缓冲区放入图像采集队列。