Salsify-低延迟的网络视频框架设计-视频编解码器和传输协议的紧密集成.docx

? ? Salsify: 低延迟的网络视频框架设计--视频编解码器和传输协议的紧密集成 ? ? 本文出自论文Salsify: Low-Latency Network Video through Tighter Integration between a Video Codec and a Transport Protocol，对其论文内容进行了基本总结，这里提出了用于实时视频系统的Salsify，结合了视频编解码器和传输协议中的率控制算法，来避免引发丢包和自身流量的排队延迟。 Salsify是一个专门用于实时网络视频的架构，它紧密集成了一个视频编解码器和一个网络传输协议，允许它快速响应变化的网络环境，避免造成数据包丢失和排队延迟。Salsify基于网络容量的一个当前评估，来优化每帧的压缩长度和传输时间。Salsify的每帧优化策略依赖于一个纯功能视频编解码器，用它来探索每帧不同质量级别的可替代编码。Salsify实现了在可变网络路径上较低的视频延迟，以及更高的视频质量，其对比系统为：FaceTime, Hangouts, Skype, WebRTC。 文章目录 一、简介 二、相关工作 三、设计与实现 四、Salsify评估 五、结论 一、简介 当前实时视频系统通常由两个组件所组成：传输协议和视频编解码器。传输协议负责传输压缩视频给接收者，处理确认和拥塞信号，然后预估网络路径上的平均数据速率，并把预估的数据速率反馈给编解码器模块。编解码器选择编码参数（帧率和质量设置），然后生成一个压缩视频流，其平均码率接近于所预测的网络容量，从而可以保证视频的完整传输，而不会产生卡顿或者掉帧现象。 Salsify结合了传输协议的packet-by-packet拥塞控制和视频编解码器的frame-by-frame率控制，通过匹配网络变化容量和视频传输速率，来避免引发网络缓冲区溢出或排队延迟。Salsify的视频编解码器在不同的质量水平上探索每个视频帧的替代编码，来使压缩长度符合网络瞬时容量。当网络可以容纳视频帧时，则发送对应的视频帧。 二、相关工作 Adaptive videoconferencing(自适应视频会议)：Salsify将每个组件的率控制算法合并为一个，利用视频编解码器的功能特性，来使每个压缩帧的长度保持在传输方对网络容量的瞬时预估内。 Joint source-channel video coding(融合源-信道视频编码)：之前的工作集中于将源编码（视频压缩）与信道编码（前向纠错）结合起来，以便应用程序能够应对独立随机过程引起的丢包和延迟问题。Salsify在视频编解码器中融合了率控制算法和传输协议，来避免引发丢包和排队延迟。 Scalable or layered video coding(可扩展或分层视频编码)：在可扩展编码中，编码器产生多流压缩视频，它由一个基础层和多个增强层所组成，其中增强层用来提高较低层的质量，包括帧率、分辨率或者视觉质量。在实时视频应用中，当网络拥塞时，应用程序可以立刻丢弃增强层，而无需等待视频编解码器进行自适应过程。 Loss recovery(丢包恢复)：传统的RTP和WebRTC应用在发生丢包时，要不重传所丢失的包，要不重新编码一个视频帧的丢失slice。Salsify的功能性视频编解码器保留了旧状态的记忆，直到发送者丢弃它们。如果一个网络出现丢包现象，编码器可以开始以一种只依赖接收方已经承认的较旧状态的方式编码新的帧。 三、设计与实现 在WebRTC的开源实现框架中，视频编解码器以特定帧率从原始视频中读取帧并压缩它们，它以特定的平均比特率为目标。传输协议在大约1s的时间尺度上，更新编码器的帧率和目标比特率。WebRTC的拥塞响应通常是反应性的，如果视频编解码器产生的压缩帧超过网络容量，继续进行传输，即使会导致丢包或缓冲区溢出，随后再告诉编解码器暂停编码新的帧，直到不再拥塞。而Salsify架构允许在每帧被压缩前，传输协议与视频编解码器交流网络状态，从而使其传输可以匹配网络容量的变化状态，如果当前网络可以容纳压缩帧时则进行编码操作。 Salsify的传输协议预估网络可以安全接收的字节数量，从而不至于丢包或者排队延迟，尽管在编码帧开始前该字节数量已知，但是预测编码器参数来使一个视频编码器匹配一个预先指定好的帧长度却具有一定的挑战性。Salsify尝试两组不同的编码参数以确定可用容量，该系统会首先检查压缩帧的编码大小，并选择其中一个合适的去发送，来匹配网络容量。编码该帧的状态被恢复，用作下一个编码帧的基础。 使用编解码器接口，我们可以利用不同质量参数配置来编码每帧和从所需状态开始解码。这允许Salsify以一定大小和质量来编码帧，从而满足网络容量限制，同时可以有效地从丢包中恢复。编解码器接