基于语义视频检索综述.docVIP

基于语义视频检索综述 　　摘要：国内IPTV业务发展迅速，运营商掌握了巨量的视频数据，对视频数据的高效分析、利用，可以提高用户体验，为广大用户以及社会各界提供更优质服务。基于语义的视频检索技术，可以使视频数据结构化，实现高层语义与低层视觉特征映射，应用前景广阔，或将成为运营商高效管理视频数据的必要手段。 　　关键词：智能管道；高层语义；视频检索；特征提取；深度学习；大数据 　　中图分类号：TN914 文献标识码：A 文章编号：1007-9416（2017）05-0113-04 　　A Survey of Semantic-based Video Retrieval 　　Hong Tao 　　（Fuzhou Rockchip Electronics Co.， Ltd， Fuzhou China，Fuzhou Fujian 350003） 　　Abstract：Operators own a huge amount of video data because of the rapid development of IPTV. By analyzing and utilizing the video data efficiently， operators can provide high-quality service for the majority of users and the community with better user experience. The semantic-based video retrieval technology can structure video content data efficiently， implement the high-level semantics and low-level vision features mapping. It has prospect applications and may become a necessary means of video data to the management of operators. 　　Key Words：intelligence pipeline；High-level Semantics；Video Retrieval；Feature Extraction；Deep Learning；Big Data 　　1 概述 　　工信部官?W发布的统计公报显示，我国IPTV全网用户已达8673万户[1]。运营商在进行管网升级改造的同时，也在积极的拓展大视频服务，基于视频的增值服务业务逐步获得终端客户的青睐。但前行之路仍有挑战，海量的多媒体资源如何更高效，更经济的存储、检索，如何提升用户体验，如何发展行业视频应用，如何完成管道智能化转型，都亟待运营商去解锁。 　　基于语义的视频检索融合了图像处理、计算机视觉、图像理解等技术，根据视频内容的上下文关系，引入新的媒体数据表示和数据模型描述非结构化的视频内容，建立低层视觉特征与高层语义的映射，从而填补低层视觉特征与高层语义之间的“鸿沟”[2]，具备高效分类，系统结构可靠以及人机界面友好等技术特点[3]。基于语义的视频检索系统，可以接受自然语言指令，提供更精确的检索结果，运用该项技术可以帮助运营商加速管道智能化转型，快速提升用户体验。 　　2 基于语义的视频检索技术应用 　　基于语义的视频检索技术具有广阔的应用前景，列举若干领域的应用。 　　2.1 智能化搜索应用 　　目前的搜索引擎多是反馈通过标签匹配到的结果，人工标注后的视频信息，才有可能匹配。用户体验差，对用户的操作水平要求也较高，不适合老人、儿童使用。基于语义的视频检索系统，人们可以使用自然语言发出检索命令，通过视频的语义信息检索具有相同语义的视频，检索视频结果更接近用户期望，人机互动更人性化，搜索动作更简便，提升用户体验。例如用户语音发出指令，搜索“葡萄酒”，基于语义的检索系统不但可以为用户搜索到以“葡萄酒”命名的视频，还能搜索到电影中人们饮用“葡萄酒”的视频片段，甚至可以根据“葡萄”种类对检索结果进行分类。 　　2.2 智慧化城市应用 　　智慧化城市作为一个生态系统，感知是重要的部分[4]，以视频监控为基础搭建的感知物联网是数据收集的重要节点，而如何对海量的监控数据进行存储、检索、分析成为当前技术研究的热点。基于语义的视频检索技术，可以从海量视频信息中，获取人、车、物的非结构化信息，通过对信息的特征提取，自动化标注，实现对特定对象的快速、准确的检索、跟踪，结合百万物联网传感器数据，真正的实现“万物皆互联”[5]。在城市的治安、交通、医疗、教育等众多领域发挥重要作用。 　　2.3 广告智