多媒体技术综述.pptVIP

* * * 视频自适应技术 未来多媒体网络的发展，是计算、通信与网络的结合，固定服务与移动服务的结合，多样化服务与个性化服务的结合。通用媒体访问(universal media access)被认为是多媒体应用需满足的一项本质性的要求，它指用户可以使用多种终端设备，通过各种网络形式，无缝连接地访问所需要的媒体信息。但是，当前媒体应用环境中存在的网络的异构性、终端设备的多样性、多媒体应用的复杂性给实现通用媒体访问带来了很大挑战。 目前，已经建立了多个视频编码国际标准，这些标准的基本框架都是采用预测、变换、熵编码等技术将视频信号压缩成一定码率的码流，其主要由运动矢量和残差两部分组成。然而，这种视频表达方式过于单调，仅适用于存储与传输，难以适应当前复杂的媒体应用环境。 为此，人们提出了视频自适应（video adaptation）的概念。视频自适应主要研究如何将已有的视频表达形式变换成为满足限制条件的某种形式，同时，尽可能提高变换后视频的有用性(utility)，即用户的满意度。 图像/视频编码技术的发展现状及趋势 多视点编码技术 多视点视频（multi-view video）是一种新型的具有立体感知和交互操作功能的视频技术，它由一组平行或会聚相机阵列拍摄得到的视频信号。 2001年，MPEG成立了3DAV工作组，其首要任务就是定义3D音视频领域的范围和应用场景，并为其中的关键技术制定标准。多视点视频是3DAV框架下，近年来迅速崛起和快速发展的研究领域。在视频监控类的应用中，多视点视频编码技术有助于实现多视角立体监控，多摄像头联动等应用。 实现多视点视频编码(MVC)可以基于传统混合编码框架(H.264)，也可基于小波编码以及分布式编码等新一代视频编码工具。视点间相关性是多视点视频序列的重要特性，它与相机阵列形式、相机间距、相机和拍摄对象间距离存在极大的关系，直接反映在同一时刻相邻视点两幅图像的视差上。 图像/视频编码技术的发展现状及趋势 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 北京市多媒体与智能软件技术重点实验室 SLIDE * 多媒体综述－2 多媒体数据压缩的必要性 音视频压缩标准的发展 图像/视频编码技术的现状及发展趋势 多媒体数据压缩的必要性 音视频压缩标准的发展 图像/视频编码技术的现状及发展趋势 多媒体数据压缩的必要性 多媒体数据的显著特点：数据量非常大 一张彩色相片的数据量可达10MB； 一路高清晰度电视信号（HDTV），不压缩需 1Gbps，利用MPEG-2压缩后，尚需20Mbps 解决办法：数据压缩 压缩后再进行存储和传输，到需要时再解压、还原。 多媒体数据压缩的必要性 多媒体数据压缩的可能性： 多媒体数据存在高度的相关性 （冗余度，相似性） 在位图格式的图像存储方式中，像素与像素之间在行方向和列方向都具有很大的相关性。 多媒体数据压缩的必要性 多媒体数据的冗余类型 多媒体数据表示中存在着大量的冗余，利用多媒体数据的冗余性来减少数据量。常见图像、视频、音频数据中存在的冗余类型如下： 1. 空间冗余 2. 时间冗余 3. 视觉冗余 6. 纹理的统计冗余 5. 结构冗余 4. 知识冗余 1. 空间冗余 一幅图像表面上各采样点的颜色之间往往存在着空间连贯性，基于离散像素采样来表示物体表面颜色的像素存储方式可利用空间连贯性，达到减少数据量的目的。 例如，在静态图像中有一块表面颜色均匀的区域，在此区域中所有点的光强和色彩以及饱和度都是相同的，因此数据有很大的空间冗余。 多媒体数据压缩的必要性 图——Bitmap——颜色相同的块——帧内压缩 多媒体数据压缩的必要性 2. 时间冗余 运动图像一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的同一场景画面，所以称为时间冗余。 同理，语音数据中也存在着时间冗余。 多媒体数据压缩的必要性 多媒体数据压缩的必要性 3. 视觉冗余 人类的视觉系统由于受生理特性的限制，对于图像场的注意是非均匀的、非线性的， 通常假定视觉系统是均匀的，线性地对敏感区域和非敏感区域同等对待从而产生了更多的数据。 多媒体数据压缩的必要性 视觉系统对图像的亮度和色彩的敏感性相差很大。RGB转换为Yuv，对亮度Y的敏感性高于色彩u，v的敏感性。 随着亮度的增加，视觉系统对亮度误差的敏感度降低，因此，在高亮度区，灰度的量化可以更加粗糙些。 多媒体数据压缩的必要性 视觉系统将图像的边缘和非边缘区