基于视频流的人体动画生成.pptVIP

基于视频流的人体动画生成 庄越挺 教授 浙江大学计算机科学与技术学院 2003-12-17 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 视频动画的基本思路 思想 从视频流中提取人体运动数据 将获取的人体运动数据进行运动编辑生成新的运动数据 将获取的人体运动数据重定向到其它动画角色生成动画 特点 视频素材广泛，获取较为方便 人体运动不受限制 成本低 视频动画制作的示意图 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 VBHAS v3.0 系统功能介绍 图像预处理子系统 视频解码、图像序列同步的同步 摄像机定标子系统 计算摄像机的内外参数 特征跟踪子系统 跟踪图象序列中的人体特征，从而获取二维人体运动数据 三维重建子系统 根据摄像机定标结果和特征跟踪结果，重建人体三维运动序列 VBHAS v3.0 系统功能介绍（续） 运动编辑子系统 运用捕获的人体运动序列，再生出各种满足用户要求的新运动 动画生成子系统 建立动画模型，并将捕获的运动赋予模型产生逼真的动画 VBHAS v3.0 系统的工作流程 VBHAS v3.0 系统系统体系结构 VBHAS v3.0 系统运行示意图 跟踪结果 显示区 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 系统特点 采用基于双相机的特征跟踪技术 解决人体运动中的自遮挡问题 双相机视频可以相互指导人体特征跟踪 系统特点（续） 采用人体紧身衣模型 穿着人体紧身衣的演员运动不受限制 提高运动跟踪精度 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 人体运动跟踪结果 人体运动跟踪结果（续） 运动重定向结果 运动重定向结果（续） 运动编辑结果 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 Outline 视频动画的基本思路 VBHAS v3.0 系统介绍 系统特点 系统运行结果 系统应用情况 研究成果 研究成果 在1999年11月4日于美国Orlando召开的多媒体领域最有影响的国际会议ACM Multimedia’99上，课题组所撰写的论文《Video Based Human Animation Technique》被接纳为大会全文发表，并在大会上宣读，成为本届会议唯一由中国大陆学者撰写并被全文发表的论文 获得实用发明专利两项 在国际刊物、国际会议和国内一级刊物上发表了高质量论文24篇 其中SCI检索3篇，EI检索11篇 多媒体分析与检索技术和系统 庄越挺 教授 浙江大学计算机科学与技术学院 2003-12-17 研究背景 现代计算机和网络技术的发展使人们很容易访问到图像、视频、音频和图形等多媒体数据 多媒体资源缺乏语义明显表达和无结构化的特性，难以进行直接分析和检索 由于人们手工标注费时和主观偏差，通过文字信息对多媒体语义或结构特性进行标注，显得又不可取 因此，通过对多媒体中的视频、音频和图形等信息的特征提取、结构化等处理，实现基于内容的多媒体的分析和检索。 主要内容 基于内容的多媒体分析与检索： 它包括图象、视频、音频（音乐）和图形分析检索； 多媒体融合分析与语义检测： 研究如何将多媒体所包含的不同媒质信息结合起来，实现多媒体语义内容的完整分析与理解； 多媒体分析与检索系统集成： 这个系统包括了图象检索、音频检索、图形检索、视频结构化和多媒体场景融合分析等功能。 第一部分：基于内容的多媒体分析与检索 对图象、视频、音频、音乐和图形分别进行了深入研究，在基于内容的图象分析与检索、视频结构化与视频（运动）检索、音频语义分析与音频检索、图形分析与检索等方面取得了如下研究成果： 一、 基于内容的图象分析与检索 完成了综合语义和视觉特征的图像检索技术与系统； 提出了采用等价索引的图像检索和相关反馈技术 ； 提出了基于对象形状的图象查询技术； 提出了基于关键子块的图象检索技术 。 二、视频结构化与视频（运动）检索 提出了基于数学产生模型的骤变/渐变镜头融合检测算法 ； 提出了基于无监督聚类的关键帧提取算法 ； 提出了一个视频相似度的计算模型 ； 提出了视频检索的相关反馈算法 ； 提出了对视频所蕴涵语义的其它检测方法 。 三、音频语义分析与音频（音乐）检索 提出了压缩域音频数据分割算法 ； 提出了基于模糊聚类表征的音频例子检索及相关反馈算法 ； 提出了基于隐马尔可夫链的广播新闻分割分类算法； 提出了基于分形布