基于深度学习的图像标签生成算法.doc

基于深度学习的图像标签生成算法 杨阳基金项目: 国家自然科学基金重点项目（U1135005，跨媒体协同处理与服务的理论与应用研究）资助项目 张文生 （中国科学院自动化研究所北京 100190） 摘要 图像的自动标注是图像检索领域一项基础而又富有挑战性的任务。当前，机器学习算法在该领域取得了一定的进展。深度学习算法自提出以来在图像和文本识别领域取得了巨大的成功，它可以作为一种解决“语义鸿沟”问题的有效方法。图像标注问题可以分解为基于图像与标签相关关系的基本图像标注和基于标注词汇共生关系的标注改善两个过程。文中将基本图像标注问题视为一个多标记学习问题，图像的标签先验知识作为深度神经网络的监督信息。在得到基本标注词汇的基础上，利用原始图像标签词汇的依赖关系与先验分布改善了图像的标注结果。最后所提出的改进的深度学习模型应用于Corel和ESP图像数据集，验证了该模型框架及所提出解决方案的有效性。 关键字 图像自动标注，深度学习，神经网络，机器学习 中图分类号 TP39 Image Auto-Annotation based on deep learning Yang Yang, Zhang Wensheng (Institute of Automation, Chinese Academy of Sciences) Abstract Image auto-annotation is a basic and challenge task in the image retrieval work. The traditional machine learning methods have got a lot achievement in this field. The deep learning algorithm has achieved great success in image and text learning work since it has been presented, so it can be an efficiency method to sole the semantic gap problems. Image auto-annotation can be decomposed into two steps: basic image auto-annotation based on the relationship between image and tag, and annotation enhanced based on the mutual information of the tags. In this article, the basic image auto-annotation is viewed as a multi-labelled problem, so the prior knowledge of the tags can be used as the supervise information of the deep neural network. After the image tags got, the dependent relationship of the tags is used to improve the annotation result. At the end, this model have been tested in Corel and ESP dataset, and been proved that this method can efficiently solve the image auto-annotation problems. Key words image auto-annotation, deep learning, neural network, machine learning 1 引言 大数据时代，人们可以访问获取的信息资源呈现出爆炸式的增长，互联网上每天都诞生海量的图像和视频信息。为了有效地组织、查询与浏览如此大规模的图像资源，图像检索技术应运而生。现有的图像检索方式主要分为两种：基于内容的图像检索(Content-Based Image Retrieval, CBIR)和基于文本的图像检索(Text-Based Image Retrieval, TBIR)。对TBIR来说，它要求用户提交文本作为查询，因此，图像检索需要事先获取图像的文本语义信息[1]。图像的Tag标签是一种有效获取图像的语义信息的方法，它应用广泛，例如在社交媒体中大量的图像被用户标记Tag信息。然而互联网上同时存在大量的图像未被标记Tag信息，因此人们期望利用含有标