h.264avc视频编码标准的算法研究与优化-algorithm research and optimization of h 264 avc video coding standard.docxVIP

第1章绪论1.1前言自从1948年提出视频数字化概念至今，视频编码压缩技术已经历了50多年的发展。在这50多年内，视频数据压缩编码方法像雨后春笋般层出不穷。上世纪七十年代后大规模和超大规模集成电路技术、数字信号处理技术、计算机技术、通信技术的出现和跨越式飞速发展，使人们对信息的需求已不局限于传统的电报电话业务，甚至连文件传输、电子邮件等数据业务也已不能满足人们多样化的需求，人们现在期望的是更高品质的集视频、图像、声音、文字为一体的多媒体应用服务。然而，数字化在满足人们需要的同时，对数据传输带宽、数据存储容量等提出了更高的要求。对于多媒体信息特别是对图像数据和视频数据，这种情况更为严重。与文本、数据和语音相比，数字视频巨大的数据量使得未经压缩的数字视频很难在实际中应用。例如对于高清晰度数字电视(ITU-R709)每秒数据量更高达884.7Mbits，而地面广播系统的传输带宽仅有6M到8M。因此无论是存储还是传输，数字视频都必须经过极大的压缩才能具有实际意义，这就使得视频压缩技术成为多媒体技术的关键所在。由联合视频小组(JVTJointVideoTeam)制定的Part10ofMPEG4或者说ITU-TH.264正是顺应多媒体应用要求的产物。1.2视频编码基础视频、图像是人类在多媒体时代无时无刻不在接触的信息，但未经压缩的原始视频数据其数据量之大是现在甚至很久的将来都难以接受的，无论存储、传输都存在很大的问题，一个简单的例子，一帧DVD质量的未压缩图像(720x576，24位色)要占用1.2MB的空间，如果按每秒30帧，十分钟的数据就是22GB，这样一来一张DVD光盘连十分钟的视频数据都放不下，由此可见进行视频数据压缩的重要性非同一般。同时由于视频数据本身存在着大量的冗余，为进行数据压缩提供了充分的可能性。因此对视频数据的特性进行分析，去除其本身所包含的冗余来达到压缩的目的是十分必要的。下面就视频数据的冗余特性进行简单介绍，这些概念有利于帮助理解压缩的根源，也对进行编码优化研究、提高编码器性能起着基本的指导作用。1.2.1视频数据的冗余特性视频数据实际上存在大量的冗余，这也是能对其进行几倍、几十倍甚至上百倍压缩的原因所在。这些冗余概括地讲包括时域冗余、空域冗余、统计冗余、结构冗余和知识冗余以及心理视觉冗余。空域冗余：一般一幅图像中经常存在着大量内容一致的区域的，在空间上存在着很大的相关性，例如图像的背景区域，对于该类冗余可以通过帧内预测、变换等技术进行消除。时域冗余：指视频序列在时域上存在极强的相关性，具体体现为连续图像间的内容变化不大。通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续的。在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动或对象的移动使得空间位置发生变化。对于该类冗余通常采取帧间预测的手段消除。统计冗余：指在对信息进行熵编码的过程中，若采用不同的编码方法，则编码每个信源符号的平均比特数有时会大不相同，即编码码字间存在不同程度的冗余，因此编码效率有时也会相差甚远，如我们熟知的香农编码、哈夫曼码、游程编码等，对不同的信源所表现出来的性能也是不同的。结构冗余和知识冗余：图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布模式，形成结构冗余。或者图像中包含的信息与某些先验知识有关，例如人的五官位置对于人脸而言就是一种先验知识，这种冗余构成知识冗余。心理视觉冗余：主要指人眼视觉系统对图像的对比度、色彩、空间、时间、以及频率等特性的分辨能力有一定的限度，因此在一定程度上降低表示信号的精度，人眼察觉不到，从而能够降低数据量，达到压缩的目的。主要包括对比度敏感性、色彩敏感性、纹理敏感性、空间频率敏感性等几个方面，这些特性在降低数据采样速率、分级量化等技术中得到广泛应用。1.2.2视频数据压缩原理视频数据压缩的根由在于上述冗余能够得以削弱，为了消除视频数据的上述冗余，从上个世纪四、五十年代开始人们就进行了很多研究。对于视频数据中的空域冗余，正交变换能够将空域相关的数据转换成频域内不相关的变换系数来表示，同时正交变换还起到能量集中的作用，能够用若干个低频系数近似表示原来的能量。因此变换与随后的量化相结合能够舍弃一些高频部分不重要的系数，从而达到压缩的目的。视频数据中的时域冗余可以用运动预测技术来消除，其基本思想是将连续的视频图像内容进行匹配，对匹配的内容进行做差预测，从而降低冗余，匹配既可以是基于帧的，也可以基于块的，甚至像素级的匹配。对于统计冗余，主要是通过熵编码技术的研究，通过其提高熵编码效率来降低统计冗余，如从哈夫曼变长码到算术编码。以上这些技术在发展过程中逐渐融合，形成了典型的基于变换/预测的混合编码框架，主要包括熵编码、变换编码与预测编码等关键技术。如图1-1所示，对熵编码的研究早在40年