06-视频编码技术.pptVIP

* * 从编码器一次取出的数据是一个帧H264数据。为了有效的利用网络资源，我们一般会将此一帧数据分成多个1400Byte的数据再打包成rtp数据进行网络发送。 * * IDR（Instantaneous Decoding Refresh，即时解码刷新帧）：每个编码视频序列的第一幅图像为IDR图像。IDR图像解码之后，解码顺序上所有后续的编码图像都可以不用根据任何在IDR图像之前解码的图像来进行帧间预测解码。 IDR类型的NAL+RBSP之前一定会有SPS和PPS 。 SPS（sequence parameter set， 序列参数集）：一个语法结构，包含应用于0个或多个完整编码视频序列的语法元素。 PPS（Picture Parameter Set， 图像参数集）：一个语法结构，包含应用于零个或多个编码图像的语法元素。 * * 它包含了profile_id（Baseline）和图象格式（1280×720）等信息。 同时，语法元素seq_parameter_set_id定义了序列参数集sps为0。 * * 图像参数集PPS中语法元素pic_parameter_set_id 定义图像参数集号为0，由语法元素seq_parameter_set_id指出所引用的序列参数集SPS是0，与SPS中定义的一致。 * 语法元素pic_parameter_set_id 指出所引用的图像参数集PPS是0，与前面PPS中定义的一致。 * * * * * * * * * * * * 帧：就是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。 一帧就是一副静止的画面，连续的帧就形成动画，如电视图象等。 我们通常说帧数，简单地说，就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps（Frames Per Second）表示。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数 (fps) 愈多，所显示的动作就会愈流畅。 场: 隔行帧即是场。 30帧/s达到了基本的流畅性，60帧/s更接近人眼可以分辨的帧率的极限，图像更流畅自然。 视频技术发展趋势: 1、30帧对人眼而言已经达到基本的流畅性，但人眼仍可以感知到帧间的“停顿”，60帧是人眼分辨帧率的极限，60帧图象人眼已经分辨不出“停顿” 2、50/60场是兼顾60帧流畅和30帧相对低的传输负荷的一个中间方式 * RGB——日常生活中使用的颜色空间 红（R）、绿（G）、蓝（B）三个分量。 YUV——视频处理中使用的颜色空间 亮度（Y）、蓝色色差（U/Cb）、红色色差（V/Cr）。 RGB三个分量相关性太强，不利于压缩 (YPbPr或YCbCr);YUV格式比RGB节省带宽，符合人眼特性，并且兼容黑白信号 (Y亮度信号），应用更广泛；视频会议系统中处理的都是YUV信号而不是RGB信号。 使用YUV格式的好处： 符合人眼的视觉特性 人眼视网膜上的感光细胞分两种 柱状细胞：对物体的亮度敏感，分辨率高。 锥状细胞：对物体的颜色敏感，敏感度和分辨率都不如柱状细胞。所以在光线很暗的时候看到的物体都是黑白的。 更好地在黑白图象和彩色图象之间兼容 如电视台发射的电视信号是YUV都有的彩色信号，黑白电视机接收后只处理Y信号，丢弃UV信号，得到的图象就是黑白的。彩色电视机对YUV都处理，得到的图象就是彩色的。 * 直接输出YUV的信号量较大，通常在视频编码前经过采样丢掉部分色彩信号，一般有4:2:2、4:1:1等多种方式;如图原来4个像素12个信号，经过4:2:2采样后就变为8个信号了，节省了1/3的数据，对色彩的影响人眼基本不可察觉。 目前视频通信中主要使用的采样方式是4:2:0的采样方式。 采样精度决定了记录声音的动态范围，它以位(Bit)为单位，比如8位、16位。8位可以把声波分成256级，16位可以把同样的波分成65,536级的信号。可以想象，位数越高，声音的保真度越高。 * 一副原始的数字图象，如果每一个点的颜色都是用YUV三个分量来描述的，这样数据量很大。颜色采样就是用一个颜色值去描述多个点的颜色，以减少数据量。 常用的颜色采样分类如下： 4：4：4 这是没有采样的原始数据，YUV三个分量的采样比例相同，即每个象素都包含有y、u、v三个分量值。 4：2：2 在水平方向将颜色进行2:1的采样。每行的4个象素中只有2个象素取了uv值，即这4个象素每2个共用1个uv值。 4：1：1 在水平方向将颜色进行4:1的采样。每行的4个象素中只有1个象素取了uv值，即这4个象素共用1个uv值。 4：2：0 其实也是4：1：1，但与4：1：1不同的是，此采样方式是将颜色在水平方向进行2：1采样，同时