研究工作中的若干问题-read.pptVIP

llxx@ustc.edu.cn 基于DirectShow的RTP视频监控系统 王靖琰 中科院上海应用物理研究所 wjycas@mail.ustc.edu.cn 内容提要 项目介绍 视频监控系统关键技术 视频监控系统总体设计 视频监控系统实现 总结与收获 项目介绍 视频监控是安全防范系统的重要组成部分，它是一种防范能力较强的综合系统。 它是以计算机技术为核心，结合先进的多媒体技术、网络通信技术、数字视频压缩技术的一种监控技术。 视频监控以其直观、准确、及时和信息内容丰富而广泛应用于生产管理、保安等许多场合。 项目介绍 本课题组采用可扩展性好的DirectShow实现媒体流的数据管理,采用先进的视频压缩标准MPEG-4对视频进行编解码，采用RTP/RTCP实现视频流的实时传输,设计实现了一种基于DirectShow和RTP/RTCP传输的MPEG-4视频的实时视频监控系统。 视频监控系统关键技术 COM技术 DirectShow技术 MPEG-4视频压缩标准 实时传输协议RTP/RTCP COM技术 COM组件是具有一定功能的、可以单独开发模块，它可以通过接口相互协同工作以完成某项任务，应用程序直接使用这些接口来实现对媒体流的控制。 本文用到的COM组件是基于COM技术的DirectShow过滤器(Filter)。 DirectShow技术 Direct Show 是Microsoft 公司为了简化流媒体处理而提供的基于Windows 平台的开发包。 Direct Show为多媒体的捕捉、处理和回放提供了强有力的支持。 DirectShow 提供的是一种开放式的开发环境,用户可以根据自己的需要定制自己的组件。 DirectShow技术 Direct Show 使用一种称为Filter Graph 的模型来管理整个数据流的处理过程,参与数据处理的各个功能模块称为Filter ,Filter 之间的数据接口称为Pin 。Direct Show 的结构如图所示。 DirectShow技术 Direct Show 是建立在COM 组件技术基础上的,它的所有部件和功能都是由COM 接口来构造和实现的, Filter 和Pin 都是COM 对象。 Filter 之间的数据交换是通过COM 对象Media Sample 实现, 它封装了一段媒体流数据以及该段数据的属性。 MPEG-4标准 MPEG-4的最大的特点就是以对象为基础的空间可分级性,所谓的对象是在一个场景中能够访问和操纵的实体。 MPEG-4编码把图像和视频分割成不同的对象,对每一个对象的编码形成一个对象码流层, 码流中包含着对象的形状、位置、纹理等属性。对一幅图像编码所形成的码流由一系列对象层码流构成,用户可直接对“对象层”进行存取操作。 MPEG-4的语法结构 一个视频系列由若干个 视频会话VS构成. VO是场景中的具体对象，是由时间上连续的帧画面系列组成的，是用户能够存取和操作的实体。 VOL是表明VO的空间和时间分辨率的一个类型。 GOV 在视频中提供标记用于记录视频平面单独编码的时域，空域位置，即实现了对视频流数据任意访问的可能 VOP是VO在某一时刻的表象，即某一帧VO。 MPEG-4的语法结构 VOP有三种相应的帧格式:IVOP, PVOP和BVOP. IVOP在编码时只用到它自己的信息;PVOP在编码时要用到先前的VOP作为参考进行运动估计和补偿;BVOP在编码时则要用到先前和后续的VOP作为参考进行运动估计和补偿。 VOP可以分解为若干个宏块(大小为16 X 16)，每个宏块又被分成4个的块(8X8大小)。任何一个编码序列都是从I帧(称为“关键帧”或“同步帧”)开始，后面可以有多个P帧或B帧. 基于对象的视频编码过程 (1)从原始视频流中分割视频对象。 (2)对输入的任意形状的VOP序列，用基于块的预测编码、形状编码和离散余弦变换的混合编码技术编码，处理顺序是先IVOP后PVOP, BVOP。 (3)对各个视频对象的码流进行复合，每个视频对象的形状、运动和纹理信息复合成VOL比特流，各视频对象视频流复合成统一的码流输出。 基于对象的视频编码过程 在对VOP的形状信息编码后，取得任意形状VOP的采样，每个VOP划分为不相交的宏块，每个宏块含有4个8X8象素块，以进行运动估计和补偿以及纹理编码，己编码的VOP帧保存在帧存中，在当前VOP帧和己编码VOP帧之间计算运动矢量 对将编码的块和宏块，计算他们的运动补偿预测误差;运动补偿预测后的IVOP及误差用8X8块DCT变换，并进行DCT系数的量化，然后是游程编码和嫡编码。 实时传输协议RTP/RTCP 实时传输协议（Real-time Transport Protocol，PRT）是在 Interne