基于内容的多媒体信息检索 - read.pptVIP

数据库技术及其基本概念 数据管理的3个阶段 手工处理 文件管理 数据库管理 数据的独立性 物理独立性 逻辑独立性 数据模型 内模式 概念模式 外模式 数据库类型 （层次、网状、关系） 多媒体数据库管理环境 存储环境 可更换的硬盘 磁带备份介质 光盘档案介质 磁盘阵列 传输环境 人工传输 串口传输 网络通信 软件环境 文件管理系统 传统的数据库管理系统 多媒体数据库管理系统 超文本和超媒体 MDBMS的特点 数据量大、媒体之间差异也大 数据处理复杂 多媒体需要改变数据库的接口和操作方式 事务大而复杂 版本控制的需要 MDBMS的功能要求 能表示、处理不规则（非格式化）数据 能反映媒体数据之间的时间和空间的关联 满足物理独立性、逻辑独立性、媒体数据的独立性 具备媒体数据的操作功能 具备网络功能 具有开放功能 提供事务和版本管理功能 DBMS的组织结构 集中型MDBMS 主从型MDBMS 协作型MDBMS MDBMS的数据模型 数据模型的基本概念 常用的数据模型 扩充的数据模型 将关系型数据库技术和文件系统相结合 格式化数据和非格式化数据存放在同一元组中 格式化数据和非格式化数据的引用存放在同一元组中 多媒体信息检索 需求：数字图像，视频，音频信息的大量增长，需要对这些多媒体信息进行浏览，查询和检索操作。 基于文本的图像检索 对图像进行文本标记。 利用传统的DBMS系统进行图像检索。 缺点是需要人工标记，当数据量大时，无法胜任。 基于内容的多媒体信息检索 定义：以自动方式提取多媒体数据中的内容信息，并根据内容信息进行数据检索的技术。 涉及领域： 多媒体数据处理 数据库管理 模式识别 …… 新一代视频浏览技术 传统浏览方式： - 方式：看电视 - 技术：电视 新的浏览方式： - 方式：计算机上看电视（网上直播、点播） - 技术：计算机+网络 未来的浏览方式： - 方式：通过计算机或电视迅速找到感兴趣的内容 智能电视能替主人筛选节目 - 技术：多媒体数据基于内容的分析和浏览 视频结构的分析 重点突破：电视节目的智能浏览 应战：新一代网上检索 目前的互联网搜索引擎技术 (1995 – ): (Yahoo!, 搜狐) 基于关键字: 很难表达许多概念 太多不相关的匹配：费时费力 CBMR 目标识别 特征提取 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 图像特征 视频特征 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 图像特征 视频特征 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 语义合成 高维检索 搜索引擎 相关反馈 CBMR 目标识别 特征提取 语义合成 高维检索 搜索引擎 相关反馈 研究热点与发展趋势 基于语义的查询 相关反馈在查询中的应用 内容信息和文本标记的融合 多特征组合查询 高维检索 * * MTI 多媒体数据库与 基于内容的多媒体信息检索 高层 底层 抽象程度 目标:自动快速地检测出组成视频节目的基本单元 故事 1 故事 2 故事 N ... 镜头 1 镜头 2 镜头 M ... 电视节目 图像 ... ... 自动分类 文本总结 电视台发出的或经语音识别得到的文本 关键帧检测 人脸检测和识别 新一代搜索引擎： 1.自然语言，更高的精度 知识搜索引擎 知识Crawler 回答 提问 文字 增强的 Web 索引 Web Dictionary Web 浏览界面 互联网 多种语言 多种语言 2. 多种语言搜索 多种语言 3. 善解人意，学习个人喜好 有关用户 知识库 多媒体 4.多通道输入和 多媒体输出 多媒体 语音和 多媒体 目标识别为用户提供一种工具，可以用全自动或者半自动（用户干预）的方式标识静态图像、视频镜头的代表帧等媒体中用户感兴趣的区域，以及视频序列中的动态目标，以便针对目标进行特征提取并查询。 一般特征（general features） 颜色(color) 纹理(texture) 形状等(shape) 特定领域特征 人脸(human faces) 指纹(finger prints) 手写体(handwriting) 一般特征 镜头切换类型(shot-cut) 摄像机运动（pan and zoom） 运动轨迹（lack of motion） 关键帧（key frame） MPEG7中语义描述方法 近邻查询 或范围查询 数据对象 高维向量空间 高维检索 QBE （Query by example） 查