CN115955554B 一种图层化的虚实融合视频制作方法 （浙江传媒学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115955554B(45)授权公告日2024.07.12

(21)申请号202210735628.0

(22)申请日2022.06.27

(65)同一申请的已公布的文献号申请公布号CN115955554A

(43)申请公布日2023.04.11

(73)专利权人浙江传媒学院

地址310018浙江省杭州市下沙高教园区

学源街998号

(72)发明人刘畅俞定国林强宓佳艺张荣波吴刚

(74)专利代理机构杭州求是专利事务所有限公司33200

专利代理师陈升华

(51)Int.CI.

HO4N13/275(2018.01)

H04N13/293(2018.01)

HO4N21/431(2011.01)

HO4N21/4402(2011.01)

HO4N21/488(2011.01)

(56)对比文件

CN107071384A,2017.08.18

CN114401414A,2022.04.26审查员李骁

权利要求书2页说明书5页附图5页

(54)发明名称

一种图层化的虚实融合视频制作方法

(57)摘要

CN115955554B本发明公开了一种图层化的虚实融合视频制作方法，属于虚实融合领域的具体应用，包括：创建前景、中景、背景等视频图层集合，将复杂的虚实融合任务分解至不同图层独立进行处理与控制，通过素材库将用户定义的素材内容导入不同视频图层进行融合，并实时封装虚实融合后的视频内容，进行直播推流。特别的，针对虚实融合空间的影子生成，本发明提供了一种双目合成成像的视频影子生成方法以实现符合光影空间统一逻辑的融合效果。经验证，本发明在实时虚实融合视频直播上表现良好，为虚实融合视频制作提供了新的方法，可利用本发明进行实时制作富

CN115955554B

融合视蟆行膜围质售中

融合视蟆

行膜围质售

中景图层集

虚实融合空间

融合视频

视频1

(

特效2

器

CN115955554B权利要求书1/2页

2

1.一种图层化的虚实融合视频制作方法，其特征在于，包括以下步骤：

S1、创建虚实融合空间并构建前景图层集F={F?,F?,…F}、中景图层集M={M?,M?,…

M}以及背景图层集B={B?,B?,…B},其中，F?,F?,…F表示不同的前景图层，M?,M?,…M表示不同的中景图层，B?,B?,…B表示不同的背景图层；

前景图层集中不同内容的生成方法包括：

SA1:制作动态视频特效并以透明通道导入虚实融合空间；

SA2:通过软件创建3D动画模型并导入虚实融合空间；

SA3:通过数据流读取字幕文本的每一行，实现虚实融合空间字幕顺序呈现；

中景图层集中不同内容的生成方法包括：

SB1:通过2维照片创建虚拟数字人，并通过摄像机实时捕捉人脸表情和运动姿态，将真实人物面部信息与身体信息与数字人的绑定；

SB2:通过2维照片创建虚拟数字人，并通过语音驱动人脸动画算法实现文本、语音对数字人的驱动，构建智能虚拟主播；

SB3:通过实时抠像技术，实现对绿幕空间、真实背景空间中真实人物的实时抠像，对抠像得到的人物没有影子的画面，或者人物影子方向与虚实融合空间中的布光方向不一致的画面，采用双目合成成像的视频影子生成方法进行处理；

背景图层中不同内容的生成方法包括：

SC1:实时采集的现场视频，包括现场报道、视频连线；

SC2:预先制作的特效背景画面；

SC3:拍摄制作的常规视频；

S2、通过素材库将用户定义的素材内容导入不同视频图层，设置开关按键S,并对其进行基于图层叠加V=∑SF1+zS?M1+zSBB,实现虚实融合；

S3、实时封装虚实融合后的视频内容，进行直播推流，并在直播的过程中，实时操作不同图层的开启与关闭。

2.根据权利要求1所述的图层化的虚实融合视频制作方法，其特征在于，步骤S1中，所述的前景图层集包含用户自定义设计的特效、动画、台标、文本；

所述的中景图层集包括活动人物图层集，包含实时抠像真实人物、虚拟人；

所述的背景图层集包括常规视频、特效舞台背景、实时采访连线。

3.根据权利要求1所述的图层化的虚实融合视频制作方法，其特征在于，步骤S2中，S表示前景图层集的图层开关，S表示中景图层集的图层开关，S?表示背景图层集的图层开关。

4.根