Gstreamer的音视频同步.docxVIP

Gstreamer 的音视频同步 概述Gstreamer 概述 Gstreamer 的音频视频同步，概括起来是 个比较大的问题，因为在网上可以看到很多音视频同步的办 法。这里我们只看最普通的一种。以音频时钟做为参考时钟 （要求参考时钟上的时间是线性递增的 ）；生成数据流时依据 参考时钟上的时间给每个数据块都打上时间戳 （一般包括开 始时间和结束时间 ）；在播放时， 读取数据上的时间戳， 同时 参考当前参考时钟上的时间来安排播放 （如果数据块上的时 间大于参考时钟的时间，则不急于播放，直到参考时钟达到 数据块的开始时间；如果数据块上的时间小于参考时钟的时 间，则应 尽快播放或者干脆 丢弃 该数据块，以使得播放 赶上播放进度。 ） Gstreamer 的因视频分离器如下图： demux element 将音频， 视频分离后， 给各自的解码器进 行解码播放。[cpp] view plaincopy 行解码播放。 [cpp] view plaincopy Audio | +-- demux|/ ||\ + demux |/ | |\ + +--| Video | | | 二 提供时钟 默认情况下，是有 AudioSink 来提供参考时钟的。下面 开始代码之旅。 [cpp] view plaincopy/* gst-plugins-base-0.10.32/gst-libs/gst/audio/gstbaseaudiosink.c */ /* 默认的情况下是由这个 element 来提供 clock 的。*/ #define DEFAULT_PROVIDE_CLOCK TRUE static void gst_base_audio_sink_init (GstBaseAudioSink * baseaudiosink, GstBaseAudioSinkClass * g_class) { baseaudiosink-gt;provide_clock = DEFAULT_PROVIDE_CLOCK/* DEFAULT_PROVIDE_CLOCK /* 这里在 clock 类里面新 建了一个时钟 */ baseaudiosink-gt;provided_clock = gst_audio_clock_new (GstAudioSinkClock, (GstAudioClockGetTimeFunc) gst_base_audio_sink_get_time, baseaudiosink); }/* * baseaudiosink); } /* * 查询是否 @sink 将提供 clock */ gboolean gst_base_audio_sink_get_provide_clock (GstBaseAudioSink * sink) { gboolean result; result = sink-gt;provide_clock;return result; sink-gt;provide_clock; return result; } /* 查询 clock 的时间 * 如果将这里的返回结果变慢， 那么视频播放 就会变慢。当然视频很音频就不同步了。*/ 就会变 慢。 当然视频很音频就不同步了。 */ static GstClockTime gst_base_audio_sink_get_time (GstClock * clock, GstBaseAudioSink * sink) { result = gst_util_uint64_scale_int (samples, GST_SECOND, return result; } return result; } 视频如何同步？ 以我实验的视频为例，视频使用的是 xvimagesink + GstObjectelement + GstObject [cpp] view plaincopyGObject + GstElement + GstBaseSink + GstVideoSink + GstXvImageSink 从 element 的 chain func 开始 (PS: 为 什么从 chain 开始，参考 [Gstreamer 初见 ]). [cpp] view plaincopy/* * gst-plugins-base/sys/xvimage/xvimagesink.c * gst-plugins-base/gst-libs/gst/video/gstvideosink.c * 这两个文 件里都没有 chain 函数 . * 在 gstreamer-0.10.32/libs/gst/base/gstbasesink.c 中 chain 函数为 */ sta