大数据时代基于中文标记图像视频综合检索方法研究.docVIP

大数据时代基于中文标记图像视频综合检索方法研究 　　摘 要：随着各类物联网、云计算等示范工程的试点应用，人类步入了大数据时代。图像、视频等多媒体综合应用是大数据时代的基本特征之一，文章综合研究了基于OCR、基于图像特征和基于标记的图像视频检索技术，提出了一种基于中文标记的数据中心视频图像资源综合检索方法，以期为提高数据中心多媒体数据的可用性提供借鉴。 　　关键词：大数据；中文标记；图像视频；综合检索 　　中图分类号：TP311. 文献标识码：A 文章编号：2095-1302（2013）11-0061-03 　　0 引 言 　　随着传统数据中心向多媒体数据中心的发展，数据中心服务模式已经发生了翻天覆地的变化。大数据时代的核心特性有两个要点：一是一切都被记录，二是一切都被数字化。随着大数据时代的来临，它带来两个重大变化：一是数据量爆炸性增长，据统计，最近两年来国内各类机房产生的数据量大于2010年以前人类文明所产生的数据量的总和；二是数据来源极其丰富，特别是诸如图像、视频等非结构化数据所占比例逐年增长。从存储方面看，传统数据中心存储内容包括资源信息、业务信息、统计信息、指挥信息等，主要以结构化的数据表的形式存在，现在数据中心存储文本、数字、图像、视频、声音等多种数据形式。这些变化对数据中心检索技术要求越来越高，主要体现在：一是检索载体多样化。现代数据中心需要综合利用磁盘、磁带等综合性数据库。二是检索手段综合化。检索目标由单一的文本检索向文本、图片、视频、声音、地理信息多种目标发展。三是检索时机全域化。新数据文件增加不应中断向用户的服务，保障24 h全天候检索的可用性。因此，为了更好地利用海量图像、视频等非结构化数据，提高图像视频数据的检索效率，同时提高图像视频数据的可用性，有必要对图像视频检索方法进行深入研究。 　　1 图像视频检索在大数据时代的意义 　　多媒体信息包括文本、图像、音频、视频等信息。使用关键词检索，只能查询到媒体文件对应的文件名等特征，而无法对媒体文件内容进行查询，所以对于多媒体信息的查询应该不同于简单的文本信息的查询。随着越??越多的视频多媒体形成了海量文档，急需研究新一代的信息检索技术。 　　现代数据中心的发展具体来说，涉及数字化技术、超大规模数据库技术、网络技术、多媒体信息处理技术、信息压缩与传送技术、分布式处理技术、安全保密技术、可靠性技术、数据仓库与联机分析处理技术、信息抽取技术、数据挖掘技术、基于内容的检索技术、自然语言理解技术等。在众多技术门类中，对视频图像的检索显得尤为重要。本文主要研究基于内容匹配的数据中心图片视频资源的综合信息检索技术，为铁路、水路、公路、航空、交通保障等领域的数据中心建设以及综合性基础性中心多媒体检索技术的发展提供理论参考。 　　2 国内外的研究现状及动态 　　国外基于关键镜头关键帧的视频检索技术已经发展了很多年，随着视频数据急剧增加，图像视频检索已经成为一个新的研究热点。从第一届DIAL’04（The first International Workshop on Document Image Analysis for Libraries）开始，图像视频检索就一直被当做专题来研究，近年来，数字图像视频检索受到了极大的关注，DIAL、ICDAR等每次研讨会议均对其进行专题讨论。但是，由于国外图片视频中标记大多采用英文形式，而我国数据中心中图片视频标记是中文的，中英文在笔画排列、字词句构成、组织方式等方面差异太大，他们的视觉特征明显不同，现有的很多方法无法直接被我们直接采用。为了研究我国海量中文图像数据的管理、检索、利用，因此必须研究具有我国自主知识产权的基于中文标记的数字中心图像视频资源综合检索方法。 　　2.1 基于OCR的文档图像检索 　　在海量的视频图像数据中，其中一部分可进行正确的OCR识别，进行上下文标记，完全可用传统信息检索技术检索。对于各语系而言，其检索技术是相通的，只是OCR技术不同而已，但受到OCR技术的限制和视频图像本身质量的影响。在许多情况下，OCR识别结果并不尽人意，识别正确率对检索结果影响很大。目前，主要有两种容忍OCR识别错误的方法：一是对查询词进行扩充，估算OCR转换错误，并对OCR误差词进行检索；二是采用单词距离匹配的策略，主要是通过在矢量空间中进行词与词的匹配，计算出查询词与OCR识别目标的距离来排序。采取这两种检索误差容忍技术后，检索正确率明显提高，但统计显示，当OCR识别正确率低于75%时，视频图像检索质量将很难达到用户满意。 　　2.2 基于图像特征的图像视频检索 　　视频资料中，大量的关键帧、镜头是不能进行OCR识别的，主要有以下几个方面原因：其一是技术限制。由于OCR技术本身的局限，对于非规则字体、复杂背