CN119516059B 一种文物讲解的aigc视频创作方法 （电子科技大学成都学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119516059B(45)授权公告日2025.07.01

(21)申请号202411622092.7

(22)申请日2024.11.14

(65)同一申请的已公布的文献号申请公布号CN119516059A

(43)申请公布日2025.02.25

(73)专利权人电子科技大学成都学院

地址610000四川省成都市高新区百叶路1

号

(72)发明人陈俊丽黄海涛曾国军任思琦江浩陈东祥刘文广梁文杰

尧兰

(74)专利代理机构成都市壹为知识产权代理事务所(普通合伙)51378

专利代理师陈岚崴

(51)Int.CI.

GO6T13/40(2011.01)

G06T13/20(2011.01)

GO6V20/40(2022.01)

GO6N3/0475(2023.01)

GO6N3/0455(2023.01)

GO6N3/094(2023.01)

GO6N3/0442(2023.01)

GO6N3/0464(2023.01)

GO6V10/62(2022.01)

GO6V10/44(2022.01)

G10L15/26(2006.01)

G10L13/08(2013.01)

(56)对比文件

US2022319055A1,2022.10.06

CN118524255A,2024.08.20审查员彭玉芝

权利要求书6页说明书15页附图3页

(54)发明名称

一种文物讲解的AIGC视频创作方法

(57)摘要

CN119516059B本发明提供了一种文物讲解的AIGC视频创作方法，属于AIGC视频创作技术领域，方法包括：S1.虚拟人物视频处理；S2.文物视频处理；S3.音频数据处理；S4.融合合成处理。本发明可以增加高精度视频处理效果和音频真实性处理效果，同时加上3D人员，可以增加趣味性，文物3D还原能

CN119516059B

S1.虚拟人物视频处理：

获取真人实拍视频，利用交互式分割与追踪模型、视频对象消除模型以及人体构建模型进行视频处理，得到人物视频；

S2.文物视频处理：

获取文物实拍视频，采用基于纯CV的3D建模技术对文物进行重建，得到文物视频；

S3.音频数据处理：

基于真人实拍视频，使用人声音轨分割技术将视频的环境声音去除并

分离提取不同人物的音轨，再使用语音文本识别人声文本，将人声文本的

文本内容传入文本生成语音模型得到音频数据；

S4.融合合成处理：

将所述人物视频、文物视频和音频数据，进行同步融合，得到基于AIGC的文物讲解视频。

CN119516059B权利要求书1/6页

2

1.一种文物讲解的AIGC视频创作方法，其特征在于，包括：

S1.虚拟人物视频处理：

获取真人实拍视频，利用交互式分割与追踪模型、视频对象消除模型以及人体构建模型进行视频处理，得到人物视频；

S2.文物视频处理：

获取文物实拍视频，采用基于纯计算机视觉的3D建模技术对文物进行重建，得到文物视频；

S3.音频数据处理：

基于真人实拍视频，使用人声音轨分割技术将视频的环境声音去除并分离提取不同人物的音轨，再使用语音文本识别人声文本，将人声文本的文本内容传入文本生成语音模型得到音频数据；

S4.融合合成处理：

将所述人物视频、文物视频和音频数据，进行同步融合，得到基于AIGC的文物讲解视频；

S1中包括：

S11.图像分割与目标追踪：

使用SegmentandTrackAnything模型对真人实拍视频视频的每一帧进行图像分割和目标追踪，生成视频中人物的掩码和图像帧；

S12.视频对象消除：

将生成的图像帧和掩码输入到ProPainter模型，进行视频对象的消除和背景补全，生成消除人物后的完整视频帧；

S13.生成人物点云数据与mesh:

使用SMPLer-X模型对含有人体数据的图像帧进行处理，生成每帧图像的点云数据和mesh文件，得到3D数据；

S14.使用Python的PYrender库对SMPLer-X模型生成的3D数据进行渲染，将渲染的3D数据添加贴图进行离屏渲染，与原视频进行像素叠加，