H.264.NAL层解析(0x00000001,编码,打包,NALU).docVIP

H.264 NAL层解析 H.264的主要目标： 1．高的视频压缩比 2．良好的网络亲和性 解决方案： VCL? video coding layer?????? 视频编码层 NAL? network abstraction layer? 网络提取层 VCL：核心算法引擎，块，宏块及片的语法级别的定义 NAL：片级以上的语法级别（如序列参数集和图像参数集），同时支持以下功能：独立片解码，起始码唯一保证，SEI以及流格式编码数据传送 VCL设计目标：尽可能地独立于网络的情况下进行高效的编解码 NAL设计目标：根据不同的网络把数据打包成相应的格式，将VCL产生的比特字符串适配到各种各样的网络和多元环境中。 NALU头结构：NALU类型(5bit)、重要性指示位(2bit)、禁止位(1bit)。 NALU类型：1～12由H.264使用，24～31由H.264以外的应用使用。 重要性指示：标志该NAL单元用于重建时的重要性，值越大，越重要。 禁止位：网络发现NAL单元有比特错误时可设置该比特为1，以便接收方丢掉该单元。 ? ? 2．NAL语法语义 NAL层句法： 在编码器输出的码流中，数据的基本单元是句法元素。 句法表征句法元素的组织结构。 语义阐述句法元素的具体含义。 分组都有头部，解码器可以很方便的检测出NAL的分界，依次取出NAL进行解码。 但为了节省码流，H.264没有另外在NAL的头部设立表示起始位置的句法元素。 如果编码数据是存储在介质上的，由于NAL是依次紧密相连的，解码器就无法在数据流中分辨出每个NAL的起始位置和终止位置。 解决方案：在每个NAL前添加起始码：0X000001 在某些类型的介质上，为了寻址的方便，要求数据流在长度上对齐，或某个常数的整数倍。所以在起始码前添加若干字节的0来填充。 检测NAL的开始： 0X000001和0我们必须考虑当NAL内部出现了0X000001和0X000000 如果NALU对应的Slice为一帧的开始，则用4字节表示，即0否则用3字节表示，0x000001。?为了防止NAL内部出现0x000001的数据，h.264又提出防止竞争 emulation prevention机制，在编码完一个NAL时，如果检测出有连续两个0x00字节，就在后面插入一个0x03，则在NAL数据内肯定不会存在NAL起始码0x000001。当解码器在NAL内部检测到0x000003的数据，就把0x03抛弃，恢复原始数据。????? 0x000000? ? 0结束码) ?? 0x000001? ? 0起始码) ?? 0x000002? ? 0保留) ?? 0x000003? ? 0保证解码器正常工作) 标识NAL单元中的RBSP数据类型，其中，nal_unit_type为1， 2， 3， 4， 5的NAL单元称为VCL的NAL单元，其他类型的NAL单元为非VCL的NAL单元。 0：未规定 1：非IDR图像中不采用数据划分的片段 2：非IDR图像中A类数据划分片段 3：非IDR图像中B类数据划分片段 4：非IDR图像中C类数据划分片段 5：IDR图像的片段 6：补充增强信息（SEI） 7：序列参数集（SPS） 8：图像参数集（PPS） 9：分割符 10：序列结束符 11：流结束符 12：填充数据 13：序列参数集扩展 14：带前缀的NAL单元 15：子序列参数集 16 – 18：保留 19：不采用数据划分的辅助编码图像片段 20：编码片段扩展 21 – 23：保留 24 – 31：未规定 关于h264拆包，按照FU-A方式说明：1）第一个FU-A包的FU indicator：F应该为当前NALU头的F，而NRI应该为当前NALU头的NRI，Type则等于28，表明它是FU-A包。FU header生成方法：S = 1，E = 0，R = 0，Type则等于NALU头中的Type。2）后续的N个FU-A包的FU indicator和第一个是完全一样的，如果不是最后一个包，则FU header应该为：S = 0，E = 0，R = 0，Type等于NALU头中的Type。3）最后一个FU-A包FU header应该为：S = 0，E = 1，R = 0，Type等于NALU头中的Type。因此总结就是：同一个NALU分包厚的FU indicator头是完全一致的，FU header只有S以及E位有区别，分别标记开始和结束，它们的RTP分包的序列号应该是依次递增的，并且它们的时间戳必须一致，而负载数据为NALU包去掉1个字节的NALU头后对剩余数据的拆分，这点很关键，你可以认为NALU头被拆