基于千兆网的高清视觉传感器.PDFVIP

基于千兆网的高清视觉传感器 信电系 唐慧明 tanghm@zju.edu.cn 视觉传感器的应用 • 医学分析 • 集成电路、晶振等各种元器件生产 • PCB及焊接 • 各种生产线的产品质量检测 • 安防监控等视频分析 视觉传感器的特点 • 一般要求具有实时性 – 用于视频分析的图像信号不希望经过压缩编码 • 引入失真 • 增加延时 • 图像数据量庞大 – 常用GigE、CameraLink接口 • 针对不同的应用，需要不同的处理算法 视觉传感器系统的构成 • 采集设备，如CCD、CMOS摄像机 • 数据处理设备，嵌入式系统或专用板卡 – 在分辨率较低时，也可用一般PC • 用户接口，一般是PC机 • 控制装置 玻璃瓶质量在线检测系统示意图 基于GPU的视觉分析 • 视频分析处理需要大规模运算 • 千兆网PC机，特别是GPU – 可实现大规模并行运算，超强的运算能力 • 基于PC机的图像分析 – 用GPU代替专用的板卡 – 传感器设备只负责数据的采集 • 不做任何图像处理 • 简化硬件设计，从而降低成本 仅CPU处理的问题 • 数据传输量大 – CPU有相当一部分时间用于网络接收。 • 图像分辨率高 – 图像分析运算量大，CPU难胜任，甚至影响网 络数据接收 视觉传感器图像处理内容 – 从Bayer转换 – 白平衡和彩色校正 – 高动态图像增强 – 图像旋转校正 – 缺陷检测/ 图像分析/运动分析 – 字符识别 – 图像编码 – 图像显示 本项目视觉传感器传输性能 分辨率 像素深度 帧率 传输速率 2592*1944 12bit 7f/s 450Mbps 1600*1200 12bit 15f/s 450Mbps 1024*768 12bit 31f/s 450Mbps 640*480 12bit 61f/s 450Mbps GPU的优势 • 视频分析需要大量的像素级的运算,可并行 执行 – 可利用GPU的多处理核并行加速 – AMD HD5870 达1600个流处理器 • GPU处理后可直接显示，避免了数据从内 存到显存来回传输 GPU视频处理加速 • Bayer转换 • 白平衡 • 高动态图像增强 • JPEG编码(熵编码由CPU实现) • 图像显示 • …… • 其它 – 视频图像分析 – 3D视频深度信息提取及显示 Bayer转换实验 ATI GPU编程(OpenCL) – 每216个像素处理一起处理 – 对一幅2592*1920大小图像的Bayer转换 • AMD X2 250 (双核3.0GHz)需要约0.2s • ATI 5750 GPU (720流处理器)约0.018s JPEG编码 • GPU与CPU协同 • GPU – RGB-YCbCr ，CbCr下采样 – DCT ，量化 • CPU – Huffman编码 – 图像输入/输出 谢谢!