立体视频传输和再现研究.docVIP

立体视频传输和再现研究 　　摘要：在分析人的立体视觉原理基础上，设计了一种立体视频传输方案：用两个摄像头代替人的双眼采集远端场景，采用RTP传输两路视频，为了确保两路视频同步，提出了时间戳匹配算法。最后介绍了使用头盔显示器立体显示方法。 　　关键词:立体视频； 拥塞控制； 视频同步 　　中图分类号：TP311.5文献标志码：A 　　文章编号：1001-3695(2007)11-0215-03 　　 　　0引言?? 　　 　　网络通信技术和视频编码技术的发展带动了视频和多媒体技术的应用。以往在Internet 上传输视频受到了低带宽、高延时和高计算复杂性等诸多限制，各种需求应用也受到很大的局限。 但是随着编码技术的发展，这些限制和缺陷正在逐渐消除，使得高质量的视频传输服务得到广泛应用。视频聊天、视频会议、视频监控等技术改变着人们的工作方式、生活方式和学习方式。人类即将告别基于文本的e－mail、e－chat等形式的e时代的初级阶段，正进入面对面的网络视频新阶段。?? 　　追求质量和现实感、临场感始终是这类以视频为媒介的应用系统所关注的。其目标是通过人类的视觉系统获得尽可能真实的视觉感受。人类视觉的一个重要功能是通过左、右眼视域的不同产生对深度的感知，即所谓的视觉立体感受。当前绝大部分的视频传输系统都只局限于平面图像，因此观察者的视觉立体感受被剥夺了。为了使接收者可以产生立体视觉感知，必须在IP 网络上进行分别代表左、右眼视点的两路视频的传输，并且在接收端进行相应的重现和显示，即立体视频的传输和再现。与单视频传输相比，两路视频的传输需要解决视频同步和立体再现等技术难题，本文将给出一种解决方案。?? 　　 　　1立体视频获取?? 　　 　　人双眼的平均瞳距约为65 mm，基本保持平行。当两眼从稍微不同的两个角度去观察客观三维世界的景物时，由于几何光学的投影，与观察者不同距离的像点在左、右两眼视网膜上就处于不同的位置上。这种两眼视网膜上位置的差就称为双眼视差，它反映了客观景物的深度。人眼的深度感即立体感就是因为有了这个视差，再经大脑加工而形成的。根据这个原理，利用两台水平放置的摄像机模拟人的双眼，同步获取左、右眼有视差的图像。摄像头模拟人眼视觉系统[1]如图1所示。?? 　　 　　按照图1中放置的两台摄像机分别用于模拟人的左、右眼，而且具有与自然视觉相似的一些性质，如分离距离(separation)、视线聚合距离(vergence distance)、视域(field of view)。虽然这套模拟系统与真实的人眼视觉系统仍然存在着一些不同，但是能够较好地模拟人的视觉系统。?? 　　 　　2RTP与传输模型?? 　　 　　由于视频传输对时间十分敏感，必须确保数据的实时性和连续性。传统的TCP重发机制带来的时延较大，UDP本身又不提供任何QoS保证，均不适合视频的实时传输。为此，国际通信联合会(International Telecommunication Union，ITU)和国际互联网工程任务组(Internet Engineering Task Force，IETF)设计了一个实时传输协议(real－time transport protocol，RTP)来解决传输实时性数据的难题。RTP一般运行在不可靠的协议层UDP上，为音/视频等实时数据提供一对一或一对多的传递服务，可以向接收端点传送恢复实时信号必需的定时和顺序信息，并向收发双方和网络运营者提供QoS监测的手段，降低对网络带宽的需求；还可以使视频会议中容忍少量的丢包，以避免数据包重传造成的时延。RTP实际包括两个协议：a)RTP本身。用于传送实时数据，其功能是提供净荷类型指示、数据分组序号、数据发送时戳和数据源标志。 b)RTCP。用于传送实时信号传递的质量参数，提供QoS监视机制，同时还可以传送会议通信中参会者的信息。RTP和RCTP在传输过程中提供的信息为视频同步研究提供了必要前提。传输模型如图2所示。?? 　　 　　视频数据流分别被封装上RTP、UDP和IP报头，然后IP数据包通过Internet向接收端发送；同时发送端周期性地接收RTCP包，将QoS反馈控制信息发送到视频服务器；服务器利用这些信息动态地改变自身参数设置。RTP报头中包含一个重要的信息，即时间戳（time stamp）。其长度为4 Byte，标志RTP数据包内负载的时间信息，反映数据包内第一个字节的采样时间。RTCP包中含有接收端报告RR，记录数据接收的情况。分析此报告可以判断网络的负载状况，为拥塞控制提供了依据。?? 　　 　　3两路视频同步研究?? 　　 　　3．1同步策略?? 　　人的双眼总是在同一时刻去观察客观三维世界的，因此，两路视频应该同