第12章MPEG视频编码II课程.ppt

2D Mesh Motion coding A new mesh structure can be created only in the Intra-frame, and its triangular topology will not alter in the subsequent Inter-frames ── enforces a one-to-one mapping in 2D mesh motion estimation. For any MOP triangle (Pi, Pj, Pk), if the motion vectors for Pi and Pj are known to be MVi and MVj, then a prediction Predk will be made for the motion vector of Pk and this is rounded to a half-pixel precision: Predk = 0.5 (MVi + MVj) The prediction error ek is coded as ek = MVk ? Predk 3D合成对象的编码 人脸动画 MPEG-4定义了人脸定义参数（FDP）和人脸动画参数（FAP）,也定义了身体的模型参数和动画参数。在解码器中的人脸模型能通过传来的动画参数产生各种运动,如表情、说话等。也可以通过下载人脸的模型参数由一个通用的人脸模型生成一个特定的人脸。 Slide * 第12章 MPEG视频编码II 目录 MPEG-4概述 可视对象编码 合成对象编码 MPEG-4 overview MPEG-4 可视对象编码的特点 综合性：自然音视频对象与合成音视频对象的集成 交互性：选择播放，超链等 高效率的压缩编码：1/5～1/10的MPEG2码率，几乎相同的质量 MPEG-4可视对象的编码 第1代视频编码 The smallest entity in a picture is a pixel with its associated texture (color), and motion Message to be coded for every pixel: texture (color) + motion 第1代视频编码的不足 – 与人的视觉本质不同 – 不易控制场景中的不同对象 –潜力有限 第2代视频编码 将一个场景分为一系列组成对象，对每个对象分别编码 第2代视频编码 第2代视频编码 The smallest entity in a picture is an object with its associated shape, texture (color), and motion Message to be coded for every pixel: shape + texture (color) + motion MPEG-4的音视场景 MPEG-4音视场景的描述 在MPEG-4中，音视场景采用基于对象的描述方式，场景由媒体对象以层次方式组合而成（树），叶节点是初级(primitive) 媒体对象，例如: 静止图像 (固定不变的背景), 视频对象 (没有背景的说话人) 音频对象 (说话人所发出的声音); 其他，如文本和图形. 初级媒体对象可以是自然的，也可以是人造(合成)的, 可以是 2维,也可以是3维. 使用BIFS的（Binary Format for Scenes）语言来对场景的组成、场景中的音视对象的时空关系进行描述 MPEG-4的音视场景 假想的 观察者位置 视频复合投影平面 场景坐标系 用户输入 下载的数据/控制复合流 上载的数据/控制复合流 场景 人 2D背景 家具 演示 地球仪 讲台 声音 教师 (场景的逻辑结构) MPEG-4 场景描述的优点 可以集成各种对象，无缝地集成自然媒体(源于麦克风、摄象机等)与人造媒体(计算机生成) 、实时信息与存储信息， AV0可以是单／双／多声道音频信息、单／双／多镜头2D／3D视频信息。 提供更强的交互能力，场景中的对象（人、桌子、地球仪、白扳、人的声音）以及多媒体演示声音均作为单个对象而独立编码，用户可以有选择地与其中某(几)个对象交互。 具有良好的重用性，可重新组合音视对象 AVO (Audio Visual Object)构造新场景。 BIFS 示例 MPEG-4视频流结构 视觉对象序列（VS:Visual Object Sequence） 视频对象（VO:Video Object） 视频对象层（VOL:Video Object Layer） 视频对象平面组（GOV: