多媒体技术综述.pptVIP

多媒体技术综述;;多媒体数据压缩的必要性;多媒体数据压缩的必要性;多媒体数据压缩的必要性;1. 空间冗余;图——Bitmap——颜色相同的块——帧内压缩;2. 时间冗余;;3. 视觉冗余;视觉系统对图像的亮度和色彩的敏感性相差很大。RGB转换为Yuv，对亮度Y的敏感性高于色彩u，v的敏感性。 随着亮度的增加，视觉系统对亮度误差的敏感度降低，因此，在高亮度区，灰度的量化可以更加粗糙些。;视觉系统将图像的边缘和非边缘区分对待这是将图像分成边缘和非边缘编码的主要依据。 人类的视觉系统总是将视网膜上的图像分解为若干个频率通道后再进一步处理，在编码时将图像分解为符合视觉内在的特性的频率通道，则可以获得较大的压缩比。小波编码在一定程度上利用了这一特点。;4.知识冗余;5.结构冗余;;庞大的数字音视频产业 音视频产业是电子信息产业的三大组成部分之一 （通信、计算机、音视频） 音视频产业产值约占大陆信息产业总产值的三分之一 数字化是音视频产业的发展方向，也是上个世纪前十年产业增长的最重要的因素 ;;音视频压缩标准的发展; 编码分类 信道编码：面向传输 卫星、有线、地面 互联网、移动网、光盘、便携存储 信源编码：面向内容 文字编码：ASCII，GB 18030，所有信息系统需要 音视频编码：所有音视频系统需要 标清数字视频原始数据超过200Mbps，高清超过 1Gbps ;音视频压缩标准的发展;;;; ; ;; 图像/视频的预测编码 对于预测编码技术，压缩编码后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值之差。同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。 ; ; 基于模型编码技术 例如： talking head model:编码器对一个包含肩－头场景分析，然后对头部建立3D模型，解码端有自己的3D模型，编码端只需要发送驱动模型的参数和场景间的差异，与上述方法相比，编码效率高，但运算复杂性较高。 ; 混合编码技术 混合编码框架的技术主要包括：运动补偿、预测编码、变换编码以及熵编码等。近年来混合编码???研究主要集中于如何在技术细节方面进行进一步完善，使编码效率得到进一步的提高。 其典型代表为2003年由联合专家组JVT制定的新一代视频编码标准H.264/AVC。; 可伸缩编码技术 可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络适应性和灵活性的编解码框架。2005年2月，JVT将可伸缩性编码（Scalable Video Coding, SVC)作为H.264标准的扩展，并起草了H.264标准的可伸缩性扩展第一草案。可伸缩视频编码具有时域、空域和质量等多方面的灵活性。 SVC 不仅适合网络传输，而且应用到视频监控领域中 还能满足监控视频资料的存储、检索、分析等方面的种种特殊需求。 在SVC的需求文档中已将视频监控列为可伸缩视频编码技术的主要应用领域之一。 可伸缩技术的方法大致上可以划分为两种：基于小波变换的可伸缩技术和基于传统的混合编码结构的可伸缩技术。;视频自适应技术 未来多媒体网络的发展，是计算、通信与网络的结合，固定服务与移动服务的结合，多样化服务与个性化服务的结合。通用媒体访问(universal media access)被认为是多媒体应用需满足的一项本质性的要求，它指用户可以使用多种终端设备，通过各种网络形式，无缝连接地访问所需要的媒体信息。但是，当前媒体应用环境中存在的网络的异构性、终端设备的多样性、多媒体应用的复杂性给实现通用媒体访问带来了很大挑战。 目前，已经建立了多个视频编码国际标准，这些标准的基本框架都是采用预测、变换、熵编码等技术将视频信号压缩成一定码率的码流，其主要由运动矢量和残差两部分组成。然而，这种视频表达方式过于单调，仅适用于存储与传输，难以适应当前复杂的媒体应用环境。 为此，人们提出了视频自适应（video adaptation）的概念。视频自适应主要研究如何将已有的视频表达形式变换成为满足限制条件的某种形式，同时，尽可能提高变换后视频的有用性(utility)，即用户的满意度。;多视点编码技术 多视点视频（multi-view video）是一种新型的具有立体感知和交互操作功能的视频技术，它由一组平行或会聚相机阵列拍摄得到的视频信号。 2001年，MPEG成立了3DAV工作组，其首要任务就是定义3D音视频领域的范围和应用场景，并为其中的关键技术制定标准。多视点视频是3DAV框架下，近年来迅速崛起和快速发展的研究领域。在视频监控类的应用中，多视点视频编码技术有助于实现多视角立体监控，多摄像头联动等应用。 实现多视点视频编码(MVC)可以