(精选)网络多媒体技术(西电版)第7章 多媒体数据库课件.ppt

　　所谓基于内容的检索，就是从媒体数据中提取出特定的信息线索，然后根据这些线索对大量存储在数据库中的媒体数据进行查找，检索出具有相似特征的媒体数据。 7.5.1 基于内容的检索系统的结构和处理　　1.多媒体数据库基于内容的检索特点　　(1)对大型数据库的快速检索。实际的多媒体数据库不仅数据量巨大，而且种类繁多，因此，要求基于内容的检索技术也像常规的信息检索技术一样，能快速实现对大型数据库的快速检索。　　(2)非关键字检索，直接对图像、视频、音频进行分析、特征提取，并使用这些特征进行检索。 　　(3)检索所使用的特征十分复杂。对不同的媒体信息需要采取不同的特征提取的方法，如对图像特征的提取就可以有形状特征、颜色特征、纹理特征、轮廓特征等。　　(4)检索过程需要人—机交互进行。基于特征的检索可能出现多个检索结果，往往需要采用人—机交互的方式来确认最终的结果。 　　(5)基于内容的检索是一种非精确匹配检索方法，需要借助模式识别来进行语义分析和特征匹配，只能是近似性查询。一般来说，在检索的过程中，采用逐步求精的办法，每一层的中间结果是一个集合，不断减少集合的范围，最终实现检索目标的定位，这与数据库检索的精确匹配算法有明显的不同。　　(6)需要多种学科的知识作基础。基于内容的检索需要利用图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法作为部分基础技术。 　　2.基于内容的检索系统的结构　　多媒体数据库中基于内容的检索系统一般由组织媒体输入的插入子系统、对媒体作特征提取的媒体处理子系统、存储插入时获得的特征和相应媒体数据的数据库以及支持对该媒体查询的子系统等组成，同时需要相应的知识辅助子系统来支持特定领域的内容处理，其结构如图7-10所示。 图7-10 多媒体数据库中基于内容的检索系统的结构 　　 (1)插入子系统。该子系统负责将媒体输入到系统之中，同时根据需要为用户提供一种工具，以全自动或半自动(即需用户部分干预)的方式对媒体进行分割，标识出需要的对象或内容关键点，以便有针对性地对目标进行特征提取。 　　(2)特征处理子系统。对用户或系统标明的媒体对象进行特征提取处理。特征提取可以由人完成，例如给出一些描述特征的关键字；也可以通过对应的媒体处理例程完成，提取一些所关心的媒体特征。提取的特征可以是全局性的，如整幅图像或视频镜头的颜色分布，也可以针对某个内部的对象，如图像中的子区域、视频中的运动对象等。在提取特征时，往往需要知识辅助子系统的辅助，由知识库提供有关的领域知识。 　　(3)数据库。媒体数据和插入时得到的特征数据分别存入媒体数据库和特征数据库。媒体库包含各种媒体数据，如图像、视频、音颜、文本等。特征库包含这种媒体用户输入的特征和预处理自动提取的特征。数据库通过组织与媒体类型相匹配的索引来达到快速搜索的目的，从而可以应用到大规模多媒体数据检索过程中。 　　(4)查询子系统。该子系统主要以示例查询的方式向用户提供检索接口。检索允许针对全局对象，如整幅图像、视频镜头等，也允许针对其中的子对象以及任意组合形式来进行。检索返回的结果按相似程度进行排列，如有必要可以进一步地查询。检索主要是相似性检索，模仿人类的认知过程，可以从特征库中寻找匹配的特征，也可以临时计算对象的特征。对于不同的媒体数据类型，具有各自不同的相似性测度算法。查询子系统包括一个较为有效可靠的相似性测度函数集。 　　3.基于内容的检索处理过程　　基于内容的查询和检索是一个逐步求精的过程，存在着一个特征调整、重新匹配的循环过程，如图7-11所示。　　 图7-11 基于内容的检索过程 　　(1)初始检索说明。用户开始检索时，要形成一个检索的格式，最初可以用OBE或特定的查询语言来形成。系统对示例的特征进行提取，或是把用户描述的特征映射为对应的查询参数。　　(2)相似性匹配。将特征与特征库中的特征按照一定的匹配算法进行匹配。满足一定相似性的一组候选结果按相似度大小排列并返回给用户。 　　(3)特征调整。用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成：或者从候选结果中选择一个最接近的示例，进行特征调整，然后形成一个新的查询。　　(4)重新检索。逐步缩小查询范围，重新开始检索。该过程直到用户放弃或得到满意的查询结果时为止。 　　2. 集中统一型结构　　在集中统一型结构中，只存在一个单一的多媒体数据库和单一的多媒体数据库管理系统，其体系结构如图7-5所示。在这种体系结构中，各种媒体被统一地建模，对各种媒体的管理与操纵被集中到一个数据库管理系统之中，各种用户的需求被统一到一个多媒体用户接口上，多媒体的查询检索结果可以统一地表现。由于这种多媒体管理系统是统一设计和研制的，因此在理论上能够充分地做到对多媒体数据进行有效的管理