单节目TS流无缝拼接算法研究.pdfVIP

2005年中国数字电视与网络发展高峰论坛 第七届全国消费电子技术交流会 单节目TS流无缝拼接算法研究 郑冰洋．王立．李桂苓 天津大学电子信息工程学院．天津300072 【摘要】依据MPEG一2标准规定的_Is结构，实验研究了|：日!i个单节目幅拼接的算法。主要包括拼接点选 择、PsI处理和同步信息调整等。文章强调指出，由于音频信号解码时间较短，在Ts中的位置较相应视频靠 后，拼接时须寻找与拼接点视频相匹配的音频拼接点。实验表明，按本算法拼接的Ts符合MPEG一2系统层 规范，并町流畅地叫放。 【关键词】鸭i无缝拼接；PsI；音视频同步 1 引言 数字电视遵循MPEG一2标准传输传送流(Ts)，其特定的语法结构及其中音视频编码方 式为编辑节目带来一定幽难。目前国内外主流算法大多采用|Is解复用和解码，在像素域编 辑，然后再编码和复用，即得新的鸭。这种完全解码方式需较大存储空间，算法复杂，效率较 低，难以用软件实时实现。本文从Ts结构出发，提出并实验了．一种在MPEG一2系统层完成 单节目TS无缝拼接的有效算法。 2 MPEG一2 TS流结构及其无缝拼接 数字音视频信号经压缩编码，再复崩成传送流盯s)。Ts由一系列固定包长(一般为188 字节)的Ts包组成。TS包含有头部和净荷，头部载有多种系统信息，净荷为音视频等数据。 TS中含有节目专用信息(PSI)，PSI包括4种 不同类别佟包用PID(包识别符)区分。MPEG一2 含4种同步信息：PCR(节日时钟基准)、视频DTS(解码时间标记)、音频和视频vrs(显示时问 包获取对应的数据进行解码【l】。 数字电视视频编解码需帧重排，还要与音频和控制等信息复用成TS，不能简单地对Ts 实施切换和拼接。目前编辑数字电视节日大多在像素域进行，然后再编码和复用。这种片案 可保证节目质量，但用于节目切换、广告插播以及现场编辑等，效率较低，也不够灵活41。为 此，许多情况下还需对11s进行直接处理。 视频码流的帧重排，使其DTS和PTS值往往不同，即显示对解码有一定时延。为此，须 保证发端和收端的缓存器不上溢或下溢。只有拼人流的第一帧在拼出流的最后一帧之后正 131 第七届全目消费电子技术交流会论文集 常解码，且缓存器不上下溢，才能实现鸭的无缝拼接。 实现偈无缝拼接须解决下列主要问题：调整拼人流的PSI，使之衔接；选择前后两个流 的拼接位置，保证合成流顺畅解码；调整拼人流的时间信息，以达定时参数连续，节日流畅之 目的；寻找与视频同步的音频，避免声音与图像不吻合。 3单节目TS无缝拼接算法研究 3．1拼接点选择 MPEG-2标准定义了I图(内部编码图)、P图(预测编码图)和B图(双向预测编码图)三 种图像类型。I图不需参考图；P图基于前面的I图或P图预测得到；B图由前面和／或后面的 I图或P图预测。I图和P图均可作参考图，B图不能作参考图。后向预测的引入，使得编码不 再按原视频帧顺序进行，解码后需通过帧重排予以恢复。 原始图像及显示图像顺序举例： 7 ……B I”…… B’11B2岛P4B5B6RBBB9PloB1lB12 视频编码器输出及视频解码器输入图像顺序： 7 ·…··11B B’P4 B3P7B5 P10B8B9I”BllB12-·…· B2 B6 拼接鸭时，须兼顾编码顺序和显示顺序，否则会出现解码错误或显示空隙。拼接两个 流，要适当选择第一个流的出点和第二个流的人点。对于出点，若选择在P帧或I帧之后，如 n之后，由于流中没有B5、B6则显示为： ·…-·B’B’IlB2B3P4一一P7 P4和P7间出现了显示空隙，所以出点须选在P帧或I帧之前；对于入点，第一帧必须是 I帧，否则第一个I帧之前的所有P帧和B帧没有参考帧数据而不能正确解码。以上面一组 图像为例，I，、P4、P，、P，。、I”前可作出点，I。和I，，前可作人点。 3．2 PSI处理 如前所述，解码器通过鸭包的PID判断鸭包的内容。但对不同Ts流，载有同类数据 的Ts