一种多线程的视频同步控制方法.docxVIP

一种多线程的视频同步控制方法 1 视频解码过程中b帧-录像视频同步视频同步机制 目前，常用的视频编解码标准如mpeg-1、mpeg-2、mpeg-4和h.26x。该结构采用时间和空间预测、变换、量化和熵编码方法，将视频场景编码为不同的类型：内陆预测场景（i模式）、内陆预测场景（p模式）和双向预测场景（b模式）。这将导致解码速度因视频内容而异，视频接收率固定，解码速度与显示速度之间没有对应的问题。此外，频率和视频是编码和传输的分离，并且需要在视频上同时输出。如果采用最佳控制方法，很容易导致图像输出的不同步。 解决这个问题的方法, 现有技术一般是采用较大的缓冲区来缓冲编码数据和编码后的图像和音频帧 为了解决现有技术所存在的以上问题, 本发明的目的在于提供了一种多线程的音视频同步控制方法, 所述方法采用操作系统信号量、条件变量、系统层定义的节目参考时钟和显示时间戳, 从而使得音视频在同一的本地系统时钟的参考下按照PTS时刻严格输出, 从而实现了音视频同步播放。 2 一般介绍 本文多线程的音视频同步控制方法是基于嵌入式Linux操作系统的平台开发并实现的 3 激活解码过程 本方案包括下述步骤 步骤1:创建五个线程, 分别是解复用线程、音频解码线程、视频解码线程、音频同步输出线程和视频同步输出线程。 步骤2:启动解复用线程完成对系统层的传输流或节目流的解复用处理, 将传输流或节目流拆分成音频基本流、视频基本流以及时间信息;然后将音频基本流插入音频基本流队列尾部, 将视频基本流插入视频基本流队列尾部, 激活解码线程;若音频基本流队列或视频基本流队列溢出则解复用线程挂起等待。 对于传输流, 本步骤所述的音频基本流和视频基本流是通过PID值 (进程标识符) 区分的, 首先解析PID值为0x00的数据包, 从该数据包中的节目关联表PAT获得各个节目的节目映射表PMT的PID值。解码某个节目则解析该节目对应的节目映射表, 从而获得该节目中音频基本流的PID值以及视频基本流的PID值, 然后接收相应PID值的数据包, 将数据重组成PES (Packetized Elementary Streams, 带有包头的基本码流) 分组后插入基本流队列。对于节目流, 则是通过各个PES数据分组中的Stream ID (流标识符) 标志位区分音频和视频基本流。 本步骤所述的时间信息是指PES分组中的时间戳PTS与节目参考时钟PCR, 将解析得到的PTS值保存在相应的队列节点中。解复用线程在将一整个PES分组的基本流插入基本流队列后, 对信号量进行P操作 (即对信号量申请资源) 来激活解码线程;所述音频基本流队列或视频基本流队列通过该队列的长度判断其是否溢出, 若溢出则解复用线程挂起等待。 步骤3:启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队列中的比特流, 并将时间信息和解码后的音频数据和图像数据, 分别插入音频输出队列尾部和视频输出队列尾部, 激活音频输出线程或视频输出线程, 若音频输出队列或视频输出队列溢出则解码线程挂起等待。其中解码后的音频数据为PCM数据 (Pulse Code Modulation, 脉冲调制编码数据) 。 本步骤所述的音频解码过程如下: (a) 音频解码线程阻塞于音频信号量, 在解复用线程激活信号量后开始解码; (b) 对音频基本流队列头的音频基本流进行解码; (c) 将解码后一帧音频PCM数据插入音频输出队列尾部, 并激活音频输出条件变量; (d) 将音频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中;所述音频输出队列通过该队列的长度判断其是否溢出, 若音频输出队列溢出则音频解码线程挂起等待。 本步骤所述的视频解码过程如下: (a) 视频解码线程阻塞于音频信号量, 在解复用线程激活信号量后开始解码; (b) 对视频基本流队列头的视频基本流进行解码; (c) 将解码后的一帧图像数据插入视频输出队列尾部, 并激活视频输出条件变量; (d) 将视频基本流队列中的时间戳PTS值保存在视频输出队列对应节点中;所述视频输出队列通过该队列的长度判断其是否溢出, 若视频输出队列溢出则视频解码线程挂起等待。 步骤4:启动音频同步输出线程和视频同步输出线程, 根据解码后的时间戳与本地系统时钟的差值, 选择符合输出时间的数据进行输出;并根据视频与音频的时间戳的差值, 对视频播放进行重复与跳帧处理, 从而使得音视频同步输出。 本步骤所述的音频输出过程由以下步骤实现: (a) 音频输出线程阻塞于音频输出条件变量; (b) 在音频解码线程激活条件变量后, 计算当前时刻的本地系统时钟STC; (c) 查找音频输出队列中时间戳PTS值与STC值最接近的队列节点, 将该队列节点的音频PCM数据输出。 本步骤所述的视频输出过程由以下步