媒体检索之近邻关系可逆性探讨.docVIP

　　媒体检索之近邻关系可逆性探讨 --1绪论 1.1引言 随着信息技术的飞速发展，信息采集设备（如照相机、摄像机、扫描仪、录音机、摄像头等）被广泛使用，各种规模的处理器的计算能力遵循摩尔定律快速提高，信息存储介质的容量持续增大并且价格又大大降低，网络带宽持续增长，互联网在全世界范围内广泛普及。媒体作为传播信息的媒介，其种类和数量都大大增加，人们不再仅仅满足于只使用文本来传输信息，图片、音视频等多种媒体都成为了人们广泛使用的媒体形式。现如今，在互联网上每时每刻都有数以亿计的多媒体数据在产生和传播。 多媒体数据的快速发展在方便人们生产和生活的同时，也给多媒体技术提出了巨大挑战，如何高效地存储、管理、传播、利用多媒体数据，是多媒体数据研究的主要内容。尤其是多媒体数据的检索，能够让人们快速找到所需要的媒体数据，是多媒体研究的重点问题。多媒体数据具有数量大、种类多、应用广的特点。如今人们处在信息时代，任何一个多媒体釆集设备和多媒体制作软件就是一个产生多媒体数据的数据源，每时每刻都会产生数以亿计的多媒体数据。而目前，包括文本、图像、音频、视频、三维视频、动画等在内多种媒体数据已经成为互联网上大量传播的主要信息载体。多媒体数据在工业生产、科研教育、医疗卫生、商业娱乐等等多个领域得到了广泛应用，极大促进了人类文明的发展和人们生活水平的提高。 另外，多媒体发展的另一重要趋势是多种类型的多媒体数据经常会组织在一起共同表达信息。简单的文字描述或单一的图像描绘等常常无法准确全面地表达传播者要传播的信息和目的，多种媒体形式的共同表达成为了人们广泛使用的方式。比如在浏览新闻网页时，一条新闻常常包括文字、图像和视频多种媒体形式，这种传播新闻的形式更有助于人们准确全面直观的获取新闻内容。还有常用的幻灯片也是多种媒体形式共同表达语义的经典范例，一张幻灯片里常常包含文字、图像、声音、动画甚至视频等多种多媒体数据，这样更加方便演讲者把自己要表达的信息传达给听众。 1.2本文研究的主要问题和贡献 在日常的检索实践中，经常可以发现多媒体检索存在一种相似关系（近邻关系）非可逆问题。即假设媒体对象f在媒体对象的检索结果中，但媒体对象J并不一定存在于媒体对象i的检索结果中。而如果两个媒体对象各自存在于对方的检索结果中，这两个媒体对象很有可能是真正相似的。也就是说，相似关系如果可逆，那么有很大的把握这两个媒体对象是确实相似的。这种现象引起了我们的重视，如何利用这种相似关系的可逆性来帮助提高检索系统的精度，就是本文着力研究的问题。 这种在基于内容的媒体检索中出现的近邻关系非可逆现象没有引起很多的关注，目前在学术领域并没有很多工作是针对这种近邻关系可逆性问题的研究。本文从图像检索中的近邻关系不可逆现象入手，挖掘近邻关系可逆性与图像间相似性的密切关系，针对图像检索和跨媒体检索，提出了若干个学习近邻关系可逆性的算法，以求能够提高媒体检索系统的检索质量。本文的主要研究成果如下： (1)对于图像检索，提出了基于近邻关系可逆性验证的重排序算法，包括硬排序算法、软排序算法和自适应选择近邻数量的算法。本算法是首先利用离线阶段对每张图片的近邻信息进行存储，然后在检索阶段对检索结果与查询的近邻关系可逆性进行验证，根据验证结果对检索结果进行硬重排序或软重排序，成功提高了检索系统的检索精度。通过这样的方式有效避免了在在线阶段再进行额外的检索，保证了实时检索的效率。 (2)本文分析了图像检索中近邻关系可逆性对于近邻数量选择的敏感性，并针对这种敏感性提出了一种自适应近邻数量选择算法。该算法可以自动的为数据库中的每个图像选择一个合适的近邻数量，从而避免算法对不同类型图像数据库的差异性，提高了近邻关系可逆性学习算法的鲁棒性。 2图像检索的研究综述 本节将试图对图像检索研究进行全面的总结。首先简单介绍图像检索技术的发展历史。然后对基于内容图像检索中的关键技术——图像特征的提取与表示和图像检索框架进行介绍，其中着重介绍较为常见的图像局部特征描述子SIFT描述子以及广泛使用的以词包（Bag-of-age Retrieval)。这种技术需要在离线阶段由人工对图像进行标注，利用每幅图像对应的文本标注进行图像检索。很多的图书管理、档案管理、艺术绘画管理等系统都是使用的这种基于文本标注的图像管理方式。比如 Getty 研究所的 Art Architecture Thesaurus? Online 系统就使用了近 133000个术语对艺术、建筑等方面的图像进行描述，通过30多个等级目录和7方面的属性特征来对图像进行分类。但这种方法具有很大的局限性，首先它不适于海量图像的检索，人工标注的进度远远赶不上互联网上图像数量的增长，时效性较差；另外人工标注具有较大的主观性和错误率，很多情况下很难用恰当的文本来对某些图像进行标注，