即时通信系统中的音视频处理技术.pdfVIP

l_ y ide口屯“0t札l|fi“a 【本文献信息】苏育挺，金富玉，张承乾．即时通信系统中的音视频处理技术[J]．电视技术，2012，36(1) 即时通信系统中的音视频处理技术 苏育挺，金富玉，张承乾 (天津大学 电子信息工程学院，天津300072) 中多媒体音视频通信框架及相关协议。最后以Pidgin软件为例介绍音视频处理框架在即时通信客户端中的实现方法，为即时通 信系统中音视频处理功能的开发提供了有效的解决方案。 【关键词】即时通信系统；音视频处理；Farsight；Gstreamer Audio／Video in Instant ProcessingTechnologyMessagingSystem SU Yuting，JINFuyu，ZHANGChengqian (SchoolofElectronic 300072，China) InformationEngineering，TianjinUnwersity，Tianjin theeaseof frameworkand audioandvideocommunicationsframeworkandrelevant 【Abstract】TakingGstreamer／FarsightJingle／XMPPprotocol，the ininstant is in ofaudio／video frameworkisintroducedintheinstant described protocols messagingsystem detail．Finally，implementationprocessing with asall is to whoare Audio／Video ininstant solution messagingsystemPidgin example．Effectiveprovideddevelopersdeveloping processingmessaging system． 【Keywords】instantsystem；audio／videoprocessing；Farsight；Gstreamer； messaging 随着因特网的飞速发展，基于网络的即时通信工具 XMPP协议是个总称，包括核心协议，扩展协议等。 已从早期的消息聊天逐渐发展成为具备音视频聊天功能 核心协议只规定了很小、很基本的一些功能，大部分功 的综合应用程序。目前已经实现的音视频通信方式主要 能都是在扩展协议中规定的。实际上，XMPP协议只是 包括点对点视频通信、视频会议系统、语音电话等，其传输 作为协商协议应用，真正的P2P连接和实时通信是通过 服务质量的优劣已成为衡量即时通信系统整体性能的一 其扩展协议实现的。Jingle就是典型的扩展协议案例。 个关键性指标。 在现有的即时通信系统中，实现音视频通信的核心 组件包括音视频处理框架和即时通信协议两个部分。音 协议提供了多种传输方式用于数据传输，而针对多媒体数 视处理框架集成了音视频采集、音视频编解码、音视频分 据的最为常见的模式是两种UDP传输方式。一种传输模 流控制、音视频数据流网络拥塞控制等技术模块，能够完 成音视频数据流的采集、编码、分流等基本处理流程；即时 据包的传输通道模型，可以实现在同一局域网下的P2P 通信协议则负责为音视频数据协商传输通道，并且在协商 连接，没有网络穿越功能，无法实现远程通信；另一种模型 好的传输通