Directshow音视频采集讲述.docVIP

音视频采集 主要内容： Directshow的概述和系统组成 Directshow中的音视频同步机制 Directshow应用程序开发流程 Directshow实现音视频的采集程序 Fliter的开发（RTP实时传输和H.264编解码） 整个系统的设计： RTP Fliter（SPH，RPH，Render,source,Demux）是Win2000下.我们可以设计如下（音频采集类似,创建音频处理的Fliter Graph）： Directshow概述和系统组成 DirectShow介绍 DirectShow是一个windows平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能。它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。DirectShow整合了其它的DirectX技术，能自动地侦测并使用可利用的音视频硬件加速，也能支持没有硬件加速的系统。 DirectShow是建立在组件对象模型（COM）上的，因此编写DirectShow应用时，必须具备COM客户端程序编写的知识。对于大部分的应用，需要实现自己的COM对象，DirectShow提供了大部分你需要的DirectShow组件，但是假如需要编写自己的DirectShow组件(RTP传输Fliter以及H.264编解码Fliter)，还需要具备编写COM组件的知识。 DirectShow系统组成 如图所示，最大一块就是DirectShow系统，虚线以下是Ring 0(内核模式)特权级别的硬件设备，虚线以上是Ring 3（用户模式）特权级别的应用层。Dshow系统位于应用层中。它使用一种叫做Fliter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做Fliter，一组Fliter按一定的顺序连接成一条“流水线”协同工作，就组成一个Fliter Graph。 Fliter Graph和Fliter 每个Fliter与一个或多个其它的Fliter相连，其中的连接点也是一个COM对象，称作Pin，Fliter使用Pin将数据从一个Fliter转移到另一个，图中的箭头指示了数据流动的方向。在DirectShow中，这一系列连接在一起的Fliter称作Fliter Graph(可看作是Fliter的容器，Fliter完成最基本的功能)。 按功能分，Fliter大致分为3类：Source Fliters、Transform Fliters和Rendering Fliters。Fliter 一般分为下面几种类型。 源过滤器（source Fliter）：源过滤器引入数据到过滤器图表中，数据来源可以是文件、网络、照相机等。不同的源过滤器处理不同类型的数据源。 变换过滤器（transform Fliter）：变换过滤器的工作是获取输入流，处理数据，并生成输出流。变换过滤器对数据的处理包括编解码、格式转换、压缩解压缩等。 提交过滤器（renderer Fliter）：提交过滤器在过滤器图表里处于最后一级，它们接收数据并把数据提交给外设。 前后两种我们不必重写，中间层需要自己来实现我们系统要求功能的Fliter。 关于Fliter Graph Manager Fliter Graph Manager也是一个COM对象，用来控制Fliter graph中的所有的Fliter，主要有以下功能： 用来协调Fliter之间的状态改变，从而使graph 中的所有的Fliter的状态的改变应该一致。 建立一个参考时钟。 将Fliter 的消息返回给应用程序。 提供方法用来建立 Fliter graph。 媒体类型 因为Directshow是基于COM组件的，就需要有一种方式来描述Fliter graph每一个点的数据格式，媒体类型是一种很普遍的，可以扩展的用来描述数字媒体格式的方法，当两个Fliter连接的时候，他们会就采用某一种媒体类型达成一致的协议。媒体类型定义了处于源头的Fliter将要给下游的Fliter发送什么样的数据，以及数据的physical layout。如果两个Fliter不能够支持同一种的媒体类型，那么他们就没法连接起来。 媒体类型是通过AM_MEDIA_TYPE结构定义的，原始定义： 媒体样本Samples和分配器Allocators Fliter通过Pin与Pin之间的连接来递交数据，数据从一个Fliter的输出Pin转移到另一个Fliter的输入Pin，除了个别情况，实现这种功能通常的方法是调用输入Pin上的IMemInputPin::Receive方法。 依靠Fliter，媒体数据的内存空间可以通过多个途径来分配：在堆上、在DirectDraw