移动互联网跨媒体信息检索技术.pptx

移动互联网跨媒体信息检索技术导语：随着多媒体和网络技术的发展，涌现出大量的文本、语音、图像、视频等网络媒体数据。与传统媒体相比，网络媒体的传播具有更强的开放性、多样性和快捷性，其丰富的内容和语义对互联网服务而言具有潜在的应用价值。媒体内容分析与理解，有利于网络环境下媒体数据的传输、管理、表达和利用，从而能够更加生动真实地描述客观世界，并为人们提供更加丰富、友好的信息服务。问题：1.如何在海量的信息中实现跨越时间、空间和载体类型的信息检索显得越来越重要。 2.由于多媒体数据本身具有底层视听觉特征异构、高层语义丰富的特点，对其实现有效管理和智能利用十分困难。跨媒体检索(cross-media retrieval CMR) 的出现 跨媒体是在多媒体的基础上，利用各种媒体的形式和特征，对相同或者相关的信息用不同的媒体表达形式进行处理，由此产生存储、检索和交换等活动。 跨媒体检索是在跨媒体环境下，用户提交一种媒体对象作为查询示例，既可以检索出相同类型的相似对象，还能够返回不同类型的其他媒体对象的新型检索方式。两种跨媒体检索技术： 1)基于文本的检索。 目前，常见的检索方法一般都是基于关键字的全文检索，检索的准确度很大程度上依赖人工标注的详细与否，且不同人对相同图像、音频和视频等非文本信息的认知不同，造成了描述语言的不充分或不准确，因此利用简单文本进行搜索的结果并不理想。 2)基于内容的检索。 基于多媒体内容的检索弥补了传统基于文本检索的不足，通过数据挖掘和机器学习的方法聚合不同类型数据蕴含的信息，以提供高层次的知识服务。 随着移动智能终端设备的广泛应用和普及，大量的视频、音频、文本以及各种传感数据构成了目前移动互联网领域中信息共享的主体内容。移动化带来的改变是信息的激增，人们正在借助移动智能终端上的各种传感器—时间、位置、麦克风、摄像头、温度传感和NFC(近场通讯)采集信息并重新绘制这个世界。然而，信息的爆炸式增长给知识的获取带来了极大的难度，也因此造成了知识的相对匮乏。在此过程中，用户对信息的采集和分享与传统方式有着显著的不同:（ 1）信息的采集带有显著的时间特征和空间特征;（ 2）在数据分享过程中携带了用户偏好信息; （ 3）完整分享这些数据对网络带宽和数据存储服务提出了巨大的挑战。 目前，人们从移动互联网领域获得知识的渠道主要还依赖于信息搜索，一种是以百度和谷歌为代表的传统文本搜索的服务，另一种是以苹果的Siri为代表的新型跨媒体(声音和文本)移动搜索体验。跨媒体技术发展现状 目前，为了实现同时对多种媒体类型的信息检索，国内外学者的研究工作主要集中在以下几个领域: 1)基于“词袋”模型建立多媒体对象知识库 此类方法大多通过对多媒体对象的语义信息进行人工标注得到先验知识，结合“词袋”模型等为海量多媒体信息建立知识库，从而借助知识库的桥梁作用实现跨媒体检索。但是，此种方法很大程度上还是一种变相的基于关键字的检索，需要人工标注大量的关键字训练样本集，虽然它在一定程度上避开了特征向量异构和语义鸿沟的问题，但是人工标注耗时耗力且缺乏统一性与客观性，多媒体对象的语义信息往往不能够得到恰当描述，因而检索的准确性不尽人如意。 2)基于文档链接关系或Web链接关系建立多媒体对象之间的语义关系。 此类方法通过分析多媒体文档之间的链接关系或Web网页中的链接跳转关系建立多媒体对象之间的语义关系网(跨媒体关联图、交叉参照图模型等)从而实现多媒体对象之间的相互检索。该方法有效地避免了媒体对象之间的语义鸿沟，但是对链接关系的依赖性太强，不具有一般性。 3)建立辅助空间解决特征向量异构问题。 此类方法为解决不同类型媒体对象之间特征向量异构的问题，在计算特征向量和相似性的度量时，一些方法是基于数据集中所有数据间的距离度量的，但是在实际跨媒体数据集中:一方面，计算和存储所有对象间的距离尺度是不现实的;另一方面，距离度量不能有效解决现实生活中的问题。 4)基于机器学习、神经网络等方法获取多媒体对象间的语义关系。 此类方法主要是通过机器学习或神经网络领域的融合分析、流形学习、线性迭代与映射、概率模型、支持向量机、监督分类、非监督分类等方式对异构数据之间的关联关系进行挖掘，进而实现不同模态多媒体数据之间的相互检索。总的说来，该类方法检索效果不错，但往往计算量比较大，实现过程比较复杂。 5)索引。 此类方法一般是通过对多媒体数据进行一定预处理得到相互之间的相似关系，进而根据相似关系为海量多媒体对象建立索引，以提高检索时的效率。这是一种辅助型的方法，更多的是关注如何有效地减少检索所需要的时间，提高跨媒体检索的效率，对多媒体对象之间的相似度度量未关注。 6)基于Ontology的检索。 此类方法是建立在基于内容检索的基础上，Ontology存储多媒体对象语义信息的新型检索模