音频视频编程框架.docVIP

音频视频编程框架 音频视频编程相关：GStreamer/ffmpeg/directshow/vfw linux和window下几种流行的音频视频编程框架作一个总结，防止自己迷惘，免于晕头转向。 一、GStreamer GStreamer is a library that allows the construction of graphs of media-handling components, ranging from simple Ogg/Vorbis playback to complex audio (mixing) and video (non-linear editing) processing. GStreamer是一个开源的多媒体框架库。利用它，可以构建一系列的媒体处理模块，包括从简单的ogg播放功能到复杂的音频（混音）和视频（非线性编辑）的处理。 应用程序可以透明的利用解码和过滤技术。开发者可以使用简洁通用的接口来编写一个简单的插件来添加新的解码器或滤镜 gstreamer是linux上的(也支持其它系统) multi-media framework 多媒体应用框架。一直以来，linux上的多媒体开发都很麻烦，由于没有统一模型，所以很多东西都需要自己实现（或者code copy）。gstreamer的目的就是弥补这一缺陷。gstreamer有一个核心，核心管理许多的elements。每个element都有自己的功能，比如：音量控制、mp3解码、从硬盘读取多媒体数据、把声音发往声卡等。用户变成所需要做的，就是把用得着的elements串成线 (pipeline)。多媒体流就可以在pipeline里流动了，一旦pipeline正常工作，就意味着音乐出来了、vedio出来了...pipeline是在单独的线程中运行的，所以你不必担心自己的进程会阻塞。并且pipeline线程的管理(创建、销毁、IPC等)都是gstreamer自己负责的，用户程序只需要对其发出控制信息久可以了。 在Window平台上有DirectShow体系，则在linux平台上有GStreamer框架. 二、ffmpeg FFmpeg is a complete solution to record, convert and stream audio and video. It includes libavcodec, the leading audio/video codec library. FFmpeg is developed under Linux, but it can compiled under most operating systems, including Windows. ffmpeg项目由以下几部分组成: ffmpeg 视频文件转换命令行工具,也支持经过实时电视卡抓取和编码成视频文件. ffserver 基于HTTP(RTSP正在开发中)用于实时广播的多媒体服务器.也支持时间平移 ffplay 用 SDL和FFmpeg库开发的一个简单的媒体播放器 libavcodec 一个包含了所有FFmpeg音视频编解码器的库.为了保证最优性能和高可复用性,大多数编解码器从头开发的. libavformat 一个包含了所有的普通音视格式的解析器和产生器的库. 三、 ffdshow ffdshow is DirectShow and VFW codec for decoding/encoding many video and audio formats, including DivX and XviD movies using libavcodec, xvid and other opensourced libraries with a rich set of postprocessing filters. ffdshow是对一些codec（ffmpeg, xvid， and other）的封装，封装成了DirectShow和VFW的标准组件。比如对于xvid来讲，ffdshow是可以选择具体使用那个codec的， ffmpeg(libavcodec) or xvid。那么封装有没有额外的成本哪？有，但对大部分应用来讲，可以忽略不计。就如c++和c。 vfw和dshow里的CODEC分别是通过fourcc码和guid机制寻找的,可以在系统注册codec后调用,比自带编解码库形式更加统一,便于使用。此外，vfw和dshow是代表了两个微软不同时期的音视频处理封装库，里面包含了音视频驱动，音视频处理的一整套方案。 三、DirectShow DirectShow是微软公司在ActiveMovie和Video for Windows的基础上推出