《东北大学 本科答辩》.ppt

指导教师：xxx 答 辩 人：xxx 2014.6.19 东北大学2014届本科生毕业设计答辩 多媒体传感器网络节点的全向视觉感知关键技术研究 提纲 一、课题背景与意义 二、广角相机的标定与校正 三、多源图像无缝拼接与亮度均衡 四、WMSN节点全向感知系统构建与实验 五、总结与展望 课题背景与意义 无线多媒体传感器网络（WMSN）可以采集周边环境的多种信息（声音、图像和视频等），在环境监测、灾难救援等领域有着广阔的应用前景。 将多摄像全景视图引入到WMSN网络，对多媒体传感器网络节点360度全向视觉感知、监控具有积极意义。 现有WMSN节点一般只能监控一定角度空间范围内的景象，仅有少量研究结合可转动云台实现分时全向感知，无法同时对周围场景的实时监控，而且节点转动能量消耗很高，对于突发事件现场监测是难以接受的。 广角相机的标定 本文采用张正友标定法标定鱼眼相机 广角相机的校正 本文采用基于变长轴椭圆拟合的鱼眼图像校正算法 鱼眼图像灰度图 鱼眼图像灰度图 根据图像边缘拟合的椭圆 待校正区域 校正结果图 由于安装精度的限制，相机间的相对位置关系不统一 图像预处理 平移预处理 缩放预处理 旋转预处理 考虑系统的实时性，预处理过程中采用最邻近插值算法。 旋转预处理示意图 多图像匹配、拼接 基于SIFT算法的图像匹配、拼接： 非畸变图像测试 两幅非畸变图像 特征点匹配效果图 SIFT算法拼接效果图 多图像匹配、拼接 基于SIFT的图像拼接： 畸变校正图像测试 综合考虑：SIFT算法拼接效果、运算时间， 全向感知系统相机相对关系固定等因素， 本文采用基于手工的图像拼接的方法 两幅鱼眼畸变校正图 特征点匹配效果图 SIFT拼接效果图 多图像匹配、拼接 基于手工的图像拼接： 拼接痕迹明显 因此，需要对拼接处进行图像融合处理 图像融合 本文研究了以下几种快速融合方法： 平均值法 加权平均法 基于最佳缝合线的线性融合 平均值法 基于最佳缝合线的线性融合 虽然过渡效果较好，但整幅图像一致性较差 全景图亮度均衡 直方图均衡化 存在亮度差异的两幅鱼眼图像 全景图亮度均衡 直方图均衡化 原图像的灰度直方图 均衡化后灰度直方图 均衡化后彩色图 原图像 全景图亮度均衡 直方图均衡化 直方图均衡化后拼接图像 全景图亮度均衡 基于重叠区域的亮度均衡 同样两幅存在亮度差异的图像 左侧图像为基准的均衡效果图 右侧图像为基准的均衡效果图 全向感知系统构建 全向感知系统全部装置示意图 全向感知系统构建 DM642开发板 工作频率 片内存储 视频端口 DM642软件流程图 EDMA工作于 LINK模式 DM642软件优化 本文主要分以下三个阶段进行优化： 第一阶段：合理利用EDMA和L2所配置出来的通用RAM 使核心程序与数据均分时常驻L2 第二阶段：通过pingpong缓冲操作，提高RAM和CPU利 用率，减少L2 Cache Miss 第三阶段：结合BIOS系统时钟优化C代码，并合理选择 编译器自带的优化选项，实现程序优化 通过优化代码，单帧处理时间约为62ms 全向感知系统上位机 系统参数估计上位机 DM642人机交互 人机交互硬件平台 重写底层驱动，灵敏度提高至95%以上