CN119788886B 一种基于aigc的智能mv生成方法、系统、设备及介质 （北京流金岁月传媒科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119788886B(45)授权公告日2025.07.04

(21)申请号202510264817.8

(22)申请日2025.03.07

(65)同一申请的已公布的文献号申请公布号CN119788886A

(43)申请公布日2025.04.08

(73)专利权人北京流金岁月传媒科技股份有限

公司

地址100144北京市石景山区实兴大街30

号院3号楼2层B-0103房间

(72)发明人郭云辉孟庆国宁黎王俭

刘诗源

(74)专利代理机构北京友欣客一专利代理事务所(普通合伙)16355

专利代理师陈陈数

(51)Int.CI.

HO4N21/2343(2011.01)

HO4N21/233(2011.01)

HO4N21/234(2011.01)

H04N21/242(2011.01)

H04N21/43(2011.01)

HO4N21/439(2011.01)

HO4N21/44(2011.01)H04N21/4402(2011.01)HO4N21/472(2011.01)

(56)对比文件

CN119299806A,2025.01.10

审查员于利娜

权利要求书3页说明书17页附图7页

(54)发明名称

一种基于AIGC的智能MV生成方法、系统、设备及介质

(57)摘要

CN119788886B本申请涉及一种基于AIGC的智能MV生成方法、系统、设备及介质，属于人工智能生成内容技术领域。其中，方法包括：接收用户输入的原始音乐文件和用户指令；对原始音乐文件进行音频预处理生成标准化音频信号，并将用户指令映射为语义向量；提取节奏特征和情感特征，生成音乐特征向量并与语义向量进行特征对齐，基于扩散模型生成初始关键帧序列；对初始关键帧序列进行粒子特效密度动态调整和镜头切换点生成，输出增强关键帧序列并进行光流插帧和长时序预测，生成优化视频帧序列；根据目标平台参数对优化视频帧序列进行分块并行渲染，生成MV文件及元数据。本申请能够实现音频与视觉内容的深

CN119788886B

接收用户输入的原始音乐文件和用户

接收用户输入的原始音乐文件和用户指令

对原始音乐文件进行音频预处理生成

标准化音频信号，并通过跨模态编码

模型将用户指令映射为语义向量

提取标准化音频信号中的节奏特征和情感特征，生成音乐特征向量

将音乐特征向量与语义向量进行特征

对齐，生成联合特征向量，并基于扩散模型生成初始关键帧序列

根据音乐特征向量中的频谱能量特征，对初始关键帧序列进行粒子特效密度动态调整和镜头切换点生成，输

出增强关键顿序列

对增强关键帧序列进行光流插帧和长时序预测，生成优化视频帧序列

根据目标平台参数对优化视频帧序列进行分块并行渲染，生成MV文件及元

数据

S101

S102

S103

S104

S106

CN119788886B权利要求书1/3页

2

1.一种基于AIGC的智能MV生成方法，其特征在于，所述生成方法包括：

接收用户输入的原始音乐文件和用户指令；其中，用户指令包括文本关键词、参考图像和风格参数；

对所述原始音乐文件进行音频预处理生成标准化音频信号，并通过跨模态编码模型将所述用户指令映射为语义向量；

提取所述标准化音频信号中的节奏特征和情感特征，生成音乐特征向量；

将所述音乐特征向量与语义向量进行特征对齐，生成联合特征向量，并基于扩散模型生成初始关键帧序列；

根据所述音乐特征向量中的频谱能量特征，对所述初始关键帧序列进行粒子特效密度动态调整和镜头切换点生成，输出增强关键帧序列；

对所述增强关键帧序列进行光流插帧和长时序预测，生成优化视频帧序列；

根据目标平台参数对所述优化视频帧序列进行分块并行渲染，生成MV文件及元数据；提取所述标准化音频信号中的节奏特征和情感特征，生成音乐特征向量的步骤包括：

对所述标准化音频信号进行分帧加窗处理，生成短时信号帧序列并进行时频变换，得到复数时频矩阵；

基于所述复数时频矩阵计算频谱通量序列，通过动态规划节拍跟踪算法生成节拍时间戳序列；

基于Mel尺度滤波器组对所述复数时频矩阵进行频谱包络提取，生成MFCC特征矩阵，并计算低频能量占比序列；

将所述MFCC特征矩阵与低频能量占比序列进行拼接，构建增强特