基于网络实时视频传输方法研究.docVIP

基于网络实时视频传输方法研究 　　摘要：近几年，视频数字化在国防、公共安全领域都有很多的应用，视频进行数字化处理后可以方便传输和存贮。对于视频的实时传输，当前流行和应用比较多的有两种：实时流式传输协议(RTSP)和MicrosoftMedia服务器(MMS)协议，它们都属于应用层的协议，可以控制音视频的传输。文章探讨的是基于TCP/IP协议簇对压缩后视频的原始码流(ES流)进行处理和传输，不依赖于MMS和RTSP，并对其发送缓冲区进行有效管理，实现视频的连续、实时、有效的控制和传输。 　　关键词:数字视频 网络传输 I帧 P帧 　　 　　0、引言 　　 　　视频信号数字化以后，数据量是非常大的，以D1(704×576)PAL制视频为例，帧率25帧，YUV4:2:2格式模拟视频转换为数字视频后数据量为704×576×16×25=1622011600bps，可以看出，假如不对数据进行压缩，不利于传输和存贮。当前国际的视频压缩标准主要有H.26X系列和MPEGx系列，MPEGx系列中MPEG4最为流行，视频经过MPEG4算法压缩后，非常利于网络的传输和存储。 　　MMS和RTSP是基于TCP/IP协议，采用TCP和UDP结合的RTP/RTCP协议的方式实现视频传输，但是由于MMS协议和RTSP协议分别隶属微软和Realplay公司，不是公开的标准协议，具有版权;其次它们本身不是开源的，不可以根据自己的需要修改; 在实际的应用中，假如对实时的视频进行传输，必须对编码后的视频进行直接的处理，因此我们也将基于TCP/IP协议，进行实时视频数据传输的探讨和实现。 　　在数据传输的过程中，最重要的是采用不同的传输协议以及对传输的发送缓冲进行管理，根据连接带宽的不同，实现一个有效的丢帧策略，保证最大化利用带宽传输有效视频，下面分别对传输方式和缓冲区管理进行详细的叙述。 　　 　　1、实时视频传输中的问题分析和实现 　　 　　由于我们设计的是实时视频的传输，不像视频文件的传输，考虑到延迟和实时性，在低带宽的网络情况下，需要有效的丢帧算法。在当前的实际应用中，很多的安防产品都是采用专门的DSP芯片来处理压缩视频，通过网络在远程实现对现场的实时监看。DSP本身一般采用实时性比较高的操作系统，如PSOS，VXWORK，嵌入式LINUX等。这些系统本身已经实现TCP/IP协议的库。 　　对于每一个视频压缩后需要实时传输到远程的监控端，必须考虑最小的延时，根据压缩后视频的数据特点，P帧的丢失对监看端的解码显示效果都会有不好的影响，而每一路的视频都有可能有不同的地方在同时监看，每一路监看连接的网络速度又可能各不相同。 　　考虑到效率，数据在编码时放进一个公共的缓冲区，对于每一个发送的连接，都从该缓冲区中取数据，这就形成一个生产者―――多个消费者的模型。考虑到发送的效率，我们把每一帧的数据都拆分成包，如下面的Buf[0]，具体的编程就可以用数组，写任务每次是写入一帧，它可以被分成很多包，发送的时候取一包直接发送。这样可以达到最少的数据拷贝和最大的数据发送效率。 　　缓冲区是循环使用的，就是从头写到尾，再从头写入，假如发送过慢，有可能数据还没有发送完，就被新的视频覆盖，即使再申请一段缓冲区把数据保存下来，但假如发送速度小于视频数据的产生速度，那么终究会再产生这个问题，并且远程的监看延迟比较大。对于整个缓冲区，假定在写任务中定义写结束变量来标识写的位置，这样每个读任务都有读起始和读结束来标识。 　　由于读写的不同步，会形成如下的六种排列组合:(1)依次为:读起始，读结束，写结束。这是正常情况，在没有发生数据丢包的情况，读任务只需要把当前读结束指针更新为写结束指针。(2)依次为:写结束，读起始，读结束。这是写任务循环的结果，也是属于正常情况。读任务只需要把当前读结束指针更新为写结束指针。(3)依次为:读起始，写结束，读结束。这种情况是读任务过慢以致于写任务已超过了读任务的超始地址，是异常情况。(4)依次为:写结束，读结束，读起始。这种情况是读任务过慢以致于写任务已超过了读任务的超始地址，是异常情况。(5)依次为:读结束，写结束，读起始。这也是正常情况。(6)依次为:读结束，读起始，写结束。这种情况是读任务过慢以致于写线程已超过了读任务的超始地址，是异常情况。 　　对于上面出现的异常情况，都需要调节读起始和读结束，该如何调节就需要根据当前发送帧的数据特点来确定。前面我们说过，假如P帧丢失，其后的P帧即使发送到监看端，它解码后显示也不正常，直到下一个I帧。假如是I帧丢失，必须是下个I帧正确传输，才能正确显示。因此我们将在缓冲区中向后寻找，直到找到一个新的I帧，才继续读出发送。虽然这中间有可能有P帧的丢失，但是我们可以始终保持最新的数据