媒体流的转换.docx

本文主要介绍ffmpeg的数据流，在ffmpeg中主要分有三个主要用途用于媒体流的解码播放，媒体流的转换（解码之后再编码）和媒体流录制。媒体流的解码播放在ffmpeg中媒体流的解码播放流程如下图：其主要流程为从媒体文件中读取出媒体流，然后送入媒体格式解码器（ｄｅｍｕｘｅｒ）中去除多余的外衣－－媒体格式。然后送入ｆｆｍｐｅｇ的ｃｏｄｅｃ的ｄｅｃｏｄｅ中进行解码，最终生成显示需要的ＹＵＶ格式的图片，然后再送入类似ＳＤＬ(多媒体开发库，提供各种控制图像、声音的输入输出函数)中进行渲染。ffmpeg中媒体流的解码播放流程相对比较来说其最大的难点在于ｐｔｓ的同步，在ｆｆｍｐｅｇ的ｆｆｐｌａｙ中有很好的例子。例子中是启动了多个线程来进行同步的。媒体流的转换所谓媒体流的转换分以下几种情况：一种是格式转换，也相当于我们平时的换衣服一样，只是换个样式，换一种组织样式以适应不同场合的需要。一种是媒体编码类型的转换，例如将ｃｏｄｅｃ从ｍｐｅｇ４ ｔｏ Ｈ２６４相当于不同的人来买同一个衣服，虽然外表（格式）看起来一样但穿衣服的人已经发生了变化。一种是媒体编码类型和格式同时转换，例如将格式为ｆｌｖ的转换为ｍｐｅｇ４，同时将ｃｏｄｅｃ从ｍｐｅｇ４ ｔｏ Ｈ２６４相当于不同的人穿了不同的衣服。其流程如下图：其数据流前半部分同解码流程一样，后半部分则和解码的流程相反。当解析出ＹＵＶ图片之后，然后编码成另外一种ｃｏｄｅｃ，之后再将ｃｏｄｅｃ的数据加上一个外壳形成一个媒体文件然后通过ｂｙｔｅＩｏｃｏｎｔｅｘｔ写入目标文件。媒体流录制媒体流的录制过程相当于媒体流转换的后半部分流程从ＹＵＶ文件到ｍｅｄｉａ文件。其流程为：ＦＦＭＰＥＧ中的ｄｅｃｏｄｅｒ的组织形式：ＦＦＭＰＥＧ中ｃｏｄｅｃ的数据结构如下：typedef struct AVCodec { const char *name; enum AVMediaType type; enum CodecID id; int priv_data_size; int (*init)(AVCodecContext *); int (*encode)(AVCodecContext *, uint8_t *buf, int buf_size, void *data); int (*close)(AVCodecContext *); int (*decode)(AVCodecContext *, void *outdata, int *outdata_size, AVPacket *avpkt); int capabilities; struct AVCodec *next; void (*flush)(AVCodecContext *); const AVRational *supported_framerates; const enum PixelFormat *pix_fmts; const char *long_name; const int *supported_samplerates; const enum SampleFormat *sample_fmts;?? const int64_t *channel_layouts;} AVCodec;这个数据结构分别用于ｄｅｃｏｄｅｒ和ｅｎｃｏｄｅｒ，当被ｄｅｃｏｄｅｒ所用时函数指针ｅｎｃｏｄｅ为NULL，而当用于ｅｎｃｏｄｅ时其ｄｅｃｏｄｅ为NULL，在ｆｆｍｐｅｇ中通过向全局变量static AVCodec *first_avcodec；中添加新的ｃｏｄｅｃ变量。在查找的过程也是通过遍历这个链表然后通过ｎａｍｅ来匹配相应的ｃｏｄｅｃ这个过程将会在以后的文章中详细描述。在ｆｆｍｐｅｇ中ｆｏｒｍａｔｅ的组织结构和ｃｏｄｅｃ类似。