基于核学习的图像和文本语义关系建模方法.pdfVIP

中国科技论文在线 基于核学习的图像和文本语义关系建模方 法# 杜友田，薛姣* 5 （西安交通大学智能网络与网络安全教育部重点实验室） 摘要：随着计算机技术和通讯技术的飞速发展，互联网上多媒体数据资源呈爆炸式增长，其 中包含文本、图像、音频、视频等异质数据。很多多媒体数据之间通过不同方式组织进行关 联，从不同侧面反映同一语义，呈现出跨媒体的特征。多媒体异构数据之间的跨媒体检索对 10 目前的检索技术提出了全新的挑战。本文以文本和图像两种异构数据为研究对象，研究二者 之间存在的非线性语义映射关系，这是跨媒体检索和异构信息融合中的重要问题。本文提出 了一种基于核学习的文本- 图像语义映射模型，该模型以文本特征数据为输入空间，图像特 征数据为输出空间。首先提取文本与图像的特征，其中文本采用词袋模型(bag of words)表示， 图像特征以颜色直方图、梯度直方图和纹理来表示；采用核主成分分析的非线性降维方法对 15 输出空间数据进行降维处理；最后采用基于核学习的岭回归方法构建文本与图像的空间模 型。实验结果显示，本文基于核学习的非线性模型可以取得较好的实验结果，基于该模型的 文本与图像的匹配也具有较高的准确率。 关键词：模式识别；跨媒体；核主成分分析；核岭回归；异构数据 中图分类号：TP391.4 20 Kernel based text and image semantic association modeling method Du Youtian, Xue Jiao (Ministry of Education Key Lab For Intelligent Networks and Network Security of Xian Jiaotong 25 University) Abstract: With the rapid development of computer and communication technologies, there has been a massive explosion of multimedia contents on the web, which includes the heterogeneous data of text, image, audio and video. Different types of multimedia data are correlated in many a variety of ways and may reflect the same semantics, and then show the characteristics of cross 30 media. It is a challenge to implement the cross-media retrieval among the heterogeneous data. In this paper, we focus on the pair of texts and images, explore the nonlinear mapping between them, and propose a novel kernel-based text and image semantic mapping model. First, we extract text features with bag of words method, and image features based on col