CN115914708B 媒体的音视频同步方法及系统、电子设备 （西安诺瓦星云科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115914708B(45)授权公告日2025.07.11

(21)申请号202110969874.8

(22)申请日2021.08.23

(65)同一申请的已公布的文献号申请公布号CN115914708A

(43)申请公布日2023.04.04

(56)对比文件

CN105791939A,2016.07.20

CN112073823A,2020.12.11

CN111757158A,2020.10.09

审查员王星

(73)专利权人西安诺瓦星云科技股份有限公司

地址710075陕西省西安市高新区科技二

路72号西安软件园零壹广场DEF101

(72)发明人吴海平李强国周晶晶

(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134

专利代理师宋子良

(51)Int.CI.

HO4N21/43(2011.01)

HO4N21/8547(2011.01)权利要求书3页说明书10页附图5页

(54)发明名称

媒体的音视频同步方法及系统、电子设备

(57)摘要

CN115914708B本申请公开了一种媒体的音视频同步方法及系统、电子设备。其中，该方法包括：分别接收来自统同一视频源的视频流数据和同一音频源的音频流数据；确定所述音频流数据中的目标音频帧，并将所述目标音频帧对应的第一时间戳作为音频基准时钟，其中，所述第一时间戳用于指示所述目标音频帧的开始播放时间；确定所述音频基准时钟和所述视频流数据中与目标视频帧对应的第二时间戳之间的差异，其中，所述第二时间戳用于指示所述目标视频帧的开始播放时间；依据所述差异对所述视频流数据和所述音频流数据进行同步。本申请解决了由于流媒体客户

CN115914708B

分别接收来自同一个视频源的视频流数据和同一个音频源的音频流数据

确定所述音频流数据中的目标音频帧，并将

所述目标音频帧对应的第一时间戳作为音频

基准时钟，其中，所述第一时间戳用于指示

所述目标音频帧的开始播放时间

确定所述音频基准时钟和所述视频流数据中

与目标视频帧对应的第二时间戳之间的差

异，其中，所述第二时间戳用于指示所述目

标视频帧的开始播放时间

依据所述差异对所述视频流数据和所述音频流数据进行同步

S202

S204

S206

S208

CN115914708B权利要求书1/3页

2

1.一种媒体的音视频同步方法，其特征在于，该方法应用于分布式系统中的解码节点中，所述分布式系统包括：音频源、视频源、编码节点和解码节点，所述方法包括：

分别接收来自同一视频源的视频流数据和同一音频源的音频流数据；

确定所述音频流数据中的目标音频帧，并将所述目标音频帧对应的第一时间戳作为音频基准时钟，其中，所述第一时间戳用于指示所述目标音频帧的开始播放时间；

确定所述音频基准时钟和所述视频流数据中与目标视频帧对应的第二时间戳之间的差异，其中，所述第二时间戳用于指示所述目标视频帧的开始播放时间；

依据所述差异对所述视频流数据和所述音频流数据进行同步；

其中，所述方法还包括：响应于所述音频基准时钟为不更新音频基准时钟，确定当前系统时间与记录所述不更新音频基准时钟时的系统时间二者之间的差值，基于所述差值与所述不更新音频基准时钟二者之间的和，与所述目标视频帧的已播放时间二者的比较结果，对所述目标视频帧进行丢帧处理或延时处理；其中，所述不更新音频基准时钟为首次接收到所述音频流数据的所述音频基准时钟；

响应于所述音频基准时钟为更新音频基准时钟，确定所述当前系统时间与上一次记录所述更新音频基准时钟时的系统时间二者之间的差值，其中，所述更新音频基准时钟为每次接收到所述音频流数据时更新的所述音频基准时钟；基于所述差值与所述上一次所记录的所述更新音频基准时钟二者之间的和，与所述已播放时间二者的比较结果，对所述目标视频帧进行所述丢帧处理或所述延时处理。

2.根据权利要求1所述的方法，其特征在于，

所述目标音频帧包括：所述音频流数据中首次被接收到的音频帧；所述目标视频帧包括：所述视频流数据中首次被接收到的视频帧；或者

所述目标音频帧包括：所述音频流数据中除所述首次被接收到的音频帧之外的任