第9章__多媒体数据库.ppt

9.6.8 视频的内容处理与基于内容检索 1. 关键帧抽取与镜头分割 镜头是视频基本单元，可以由一组帧图像组成，如下图所示。 关键帧抽取算法有：基于镜头的方法、基于内容分析的方法、基于运动分析的方法、基于镜头活动性的方法和基于聚类的方法等。 9.6.8 视频的内容处理与基于内容检索 2. 视频结构重构 视频结构重构就是将语义相关的镜头组合聚类到一起。如果用镜头分割技术就会把这一段视频分割为多个镜头，但是这些镜头是属于同一个情节。因此，需要把这些镜头组合在一起。 9.6.9 基于内容检索的展望 基于内容的多媒体检索技术具有很广泛的应用前景，它与传统数据库技术相结合，可以方便地实现海量多媒体数据的存储和管理；与传统Web搜索引擎技术相结合，它可以用来检索HTML网页中丰富的多媒体信息。 1. 基于内容检索未来研究的关键技术 1）综合的多特征检索技术 2）数据模型 3）特征提取和语义获取 4）高层概念和低层特征的关联 5）内容描述标准 6）查询和存取接口 9.6.9 基于内容检索的展望 2. 基于内容检索的新发展 随着人们对多媒体数据处理要求的提高，需要内容描述与媒体内容结合，使用户能够快速准确地进行检索。这就产生了多媒体内容描述标准MPEG-7。MPEG-7的应用如下图所示。 bye 9.5.4 用户表现接口 2. 叙事表现 叙事表现就是能将数据库中有关的情节和任务组成一个故事，并表现出来。叙事表现依赖于数据库中可用的内容和其所限定的注释，故事可以用模板事先限定，也可以提供某种过滤机制。 9.6 基于内容的检索与查询 9.6.1 基于内容检索概述 9.6.2 基于内容检索系统的一般结构 9.6.3 多媒体内容分析 9.6.4 基于内容检索的过程和指标 9.6.5 基于内容检索系统的设计和实现 9.6.6 图像的内容处理与基于内容检索 9.6.7 音频的内容处理与基于内容检索 9.6.8 视频的内容处理与基于内容检索 9.6.9 基于内容检索的展望 9.6.1 基于内容检索概述 基于内容的多媒体检索是对多媒体数据（如视频、音频流等）所蕴涵的物理和语义的内容进行计算机分析理解，以方便用户查询，其本质是对无序的多媒体数据流结构化，提取语义信息，保证多媒体内容能被快速检索。 1. 基于内容的多媒体检索原理与特点 （1）根据媒体对象的语义和上下文联系进行检索。 （2）使用人机交互方式查询、检索信息。 （3）基于内容的检索是一种近似匹配，逐步求精的检索方法。 （4）满足用户多层次的检索要求。 （5）大型数据库的快速检索。 9.6.1 基于内容检索概述 2. 基于内容的多媒体检索的技术 1）信息模型和表示 2）信息压缩和恢复 3）信息存储管理 4）多媒体同步技术 5）多媒体特征提取技术 6）匹配相似性检索技术 9.6.1 基于内容检索概述 3. 基于内容的多媒体检索的应用 基于内容检索技术的应用领域非常广泛，早期对罪犯面貌特征的识别和管理、指纹的识别和管理、全文信息检索等。现在这种技术将扩展到任何的媒体和更广泛的领域，涉及到多媒体数据库、知识产权保护、数字图书馆、网络多媒体搜索引擎、交互电视、艺术收藏和博物馆管理、遥感和地球资源管理、远程医疗、天气预报以及军事指挥系统等具体的应用。 9.6.1 基于内容检索概述 目前国内外已开发出的基于内容检索的原型系统比较著名的有以下一些： （1）QBIC系统。 （2）Photobook系统。 （3）CORE系统。 （4）VisualSEEK系统。 9.6.2 基于内容检索系统的一般结构 基于内容检索系统分为两个子系统：特征抽取子系统和查询子系统。下图为多媒体数据库中基于内容检索系统的结构示意图。 9.6.2 基于内容检索系统的一般结构 下图为查询方法的示意图。 9.6.2 基于内容检索系统的一般结构 多媒体数据库中基于内容检索系统包括以下功能模块： 1. 目标识别 2. 特征抽取 3. 数据库 4. 查询接口 （1）交互输入方式。 （2）模板选择输入方式。 （3）用户提交特征样板输入方式。 5. 检索引擎 6. 索引/过滤 9.6.3 多媒体内容分析 对于多媒体数据的内容概念可以从下面几个层次上来理解： 概念级内容感知特 感知特性 逻辑关系 信号特性 特定领域的特征 获得媒体内容的方式可以是人工方式和自动方式。 9.6.3 多媒体内容分析 多媒体内容的语义和多媒体内容的处理技术。 1. 多媒体内容语义 1）文本 2）图像 3）视频 4）声音 2. 多媒体内容处理技术