街景地图中基于文字识别的自动标注研究.docVIP

街景地图中基于文字识别的自动标注研究 　　摘要：文章所述项目将文字识别技术应用到空间信息领域，充分利用车载移动测量系统采集到的高清街景影像，用算法实现文字区域定位和识别，并通过检索匹配数据库中的地理信息将文字标注到街景地图上，实现街景影像自动标注，同时实现数据库的更新，为用户提供了更丰富及时的信息和舒适的体验，促进了街景地图的发展。 　　关键词：街景地图；文字定位；文字识别；地理信息数据库；地图自动标注 文献标识码：A 　　中图分类号：P237 文章编号：1009-2374（2015）13-0018-02 DOI：10.13535/j.cnki.11-4406/n.2015.13.009 　　1 概论 　　随着计算机技术的飞速发展，信息化程度越来越高。目前，计算机文字识别技术已经非常成熟，极大地提高了我们的工作效率。而街景地图作为移动道路测量系统采集的基础数据之一，除了为用户提供城市、街道或其他环境的360°全景图像，使用户获得如临其境的地图浏览体验，还可以进一步从这些海量数据中提取更多有用信息。街景图像文字识别是当今的一门十分热门的研究课题，但是由于街景图中文字信息背景复杂、位置不确定、字体不统一等缘故，目前还没有一种方法能够将街景图片上的文字较好地识别出来。在街景图像文字识别方面，比较常用的方法是先根据文字的外轮廓面积及形状特点将街景图像上的文字区域找到，然后进行字符串分割，最后对定位好的文字进行识别，这是一种先定位后识别的方法。 　　2 街景影像采集及预处理 　　2.1 采集街景影像 　　采集街景影像来自于车载移动测量系统。系统通过GPS使激光扫描仪、IMU、相机和里程计统一为GPS时间系统，使得系统每时刻的数据协同一致。里程计、GPS和IMU采集的数据用来进行组合导航，获取系统每时刻的姿态和位置数据。激光扫描仪和相机用来获取目标地物的坐标和影像数据，结合姿态数据融合生成带有绝对坐标的彩色点云数据。 　　2.2 三维透视变形矫正 　　通过车载移动测量系统得到的每一张原始街景影像存在着三维透视变形，如图1，图片中的文字产生透视形变。 　　由于我们所用到的街景图片来自于车载移动测量系统，对于同一辆车采集的不同图片来说，其相同部分发生的变形应该是一样的，因此通过相同的旋转、局部伸缩等变换，再把每张影像的三维透视变形矫正后，根据拍照时间间隔自动将每张影像进行裁剪拼接，重叠部分进行拟合，最后得到正投影的一排道路的街景地图，如图2所示： 　　图1 存在透视变形的街景影像 　　图2 矫正变形后进行拼接得到的街景影像 　　通过对原始街景影像的矫正和拼接，为下一过程提供了高清、未变形的街景影像，且拼接后的影像也极大地提高了文字识别的效率，美中不足的是，这种将影像拼接的方法只适用于没有分叉路口的笔直街道，而在十字路口处仍存在变形的文字。 　　3 文字区域定位 　　3.1 颜色聚类法进行文字区域初步提取 　　颜色聚类法是指彩色图像上的各像素根据其颜色相似程度，划分成不同的类别，得到几张不同的颜色相对单一的图片。由于自然场景中的文本通常具有相同的颜色或灰度，同时与背景具有较高的对比度，所以我们采用颜色聚类的方式进行文本定位。利用同区域文字颜色近似，通过色彩空间的分割将图像分成若干个图层，提取连通区域并分析区域内的颜色分布以及区域外接框的几何特征来定位文字。将色彩空间分割到几类颜色，并计算每一类包含的连通分量，也就是实现颜色聚类的过程。如图3所示： 　　图3 颜色聚类法得到较好的文字区域的图层 　　3.2 文字分布法进行文字区域定位 　　对颜色聚类法得到的各张图片进行初步的筛选去除因像素过少而不可能包含文字的图片，这样做的目的是缩小搜索范围，提高识别效率。对于每个图层，需要进行图像预处理，预处理的内容包括彩色图像灰度化、图像去噪和二值化。 　　预处理完成后，再在图层上搜索连通域，将连通域的外接矩形找出来，对每个外接矩形进行长宽比、面积大小的判断，从中筛选出明显不合要求的矩形（长宽比过大或者过小，面积过大或者过小的矩形）剔除掉，接下来需要根据文字的空间分布的相关性来进行进一步的筛选。考虑到文字在街景图片上一般都是成行或者成列的，而且同一行或一列文字的大小、间距一般是相等的，可以根据这些特点找到成行或者成列的文字候选区。如图4所示： 　　图4 文字分布法得到文字区域 　　4 文字识别与自动标注 　　4.1 结合词库进行文字识别 　　文字识别技术发展已经较为成熟，可使用现有的文字识别软件进行识别。为了提高识别的效率和准确率，在街景地图中应首先从候选区的第一个矩形开始，依次往后，遍历所有的矩形，在遍历的过程中如果在某个矩形中正确识别出来了文字，那么就需要对这个矩形进行标记，同时在一张图片的其他图层