视频直播秒开背后的技术与优化经验.pdf

视频直播秒开背后的技术 李雨来 2016年9月3日 为什么我的视频直播打开会有点慢？ 可能的答案 • 你的网慢！ •你没开关键帧缓冲！ 可能的答案 难道就这些了？ 视频是如何播放的 视频数据 解码器 图像 视频是如何播放的 P-Frame I-Frame B-Frame H264 视频是如何播放的 • I-Frame (Inter Frame) • 自描述帧 • 无其他帧引用 • 压缩比最小 视频是如何播放的 • P-Frame (Predicted Frame) • 前置引用预测帧 • 需要该帧之前的帧才能解码 • 压缩比高（大约是I帧的50% ） 视频是如何播放的 • B-Frame (Bi-directional Predicted Frame) • 双向引用预测帧 • 需要该帧之前和之后的帧才能解码 • 压缩比更高（大约是I帧的25% ） 视频是如何播放的 • Group of Picture • 从一个I帧开始到下一个I帧之前的一组视频帧 视频是如何播放的 • 解码器不缓冲 • 解码器需要一个缓冲区来保存解码后的帧数据以供后面的P帧和B帧引用 • 缓冲区开始的第一个帧是I帧的数据 • P帧和B帧可能引用上一个I帧之前的帧 • 那么什么时候清空这个缓冲区呢？ 视频是如何播放的 • IDR帧（Instantaneous Decoding Refresh ） • IDR帧是个I帧 • 但I帧丌一定是IDR帧 • 解码器看到IDR帧之后清空缓冲区 • 解码器可以从任何一个IDR帧开始迚行解码 PTS和DTS是什么鬼？ • PTS ：Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来 • DTS ：Decode Time Stamp。DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中迚行解 码。 为什么直播会等待？ 为什么直播有时候会秒开？ 关键帧缓冲是如何工作的？ 实际播放时点之 GoP Cache 中 后的帧数据 的帧数据 如何做到的呢？ • FLV视频文件格式文档 • Frame Type 字段的值为1的 包即为IDR帧 几个问题 • GOP Cache中是缓存从当前GOP开始还是上一个GOP开始？ • 视频直播的GOP Size设置成多少合适？ • 视频直播中到底用丌用B帧？ 一个数学故事 1943年以前，在大西洋上英美运输船队常常受到德国潜艇的袭击，又无力增派更多的护航舰艇。为此， 一位美国海军将领与门去请教了几位数学家。数学家们运用概率论分析后发现，舰队不敌潜艇相遇是个随 机事件。从数学角度来看这一问题，它具有一定的规律：一定数量的船编队规模越小，编次就越多；编