CN120236225A 一种基于多模态大模型的视频理解方法、设备及介质 （山东浪潮智慧建筑科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236225A(43)申请公布日2025.07.01

(21)申请号202510256546.1

(22)申请日2025.03.05

(71)申请人山东浪潮智慧建筑科技有限公司地址250100山东省济南市历城区唐冶街

道兴元街1677号6号楼17层

(72)发明人霍璇徐昆李启凯杨宇坤姬克勇

(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716

专利代理师董延丽

(51)Int.CI.

GO6V20/40(2022.01)

GO6V20/70(2022.01)

GO6V10/62(2022.01)

G06V10/82(2022.01)

GO6F18/27(2023.01)

GO6F40/30(2020.01)

GO6F18/25(2023.01)

GO6N3/0455(2023.01)

GO6N5/04(2023.01)

权利要求书3页说明书12页附图2页

(54)发明名称

一种基于多模态大模型的视频理解方法、设备及介质

(57)摘要

CN120236225A本申请公开了一种基于多模态大模型的视频理解方法、设备及介质，方法包括：通过动态Alpha混合技术，将预先确定好的第一帧对应的视觉提示信息与视频帧序列进行逐帧融合；从融合后的视频帧序列中提取多帧特征，并整合多帧特征生成对应的时空视觉表示；针对视频帧序列中的每一个当前帧，将当前帧对应前一帧的视觉提示信息与当前帧的视觉特征进行融合，生成视频帧序列中第一帧之后所有帧的视觉提示信息；根据动态Alpha混合系数，对视频帧序列中每两个相邻帧的视觉提示信息进行平滑过渡，以通过自回归语言模型，并结合文本指令与时空视觉表示，

CN120236225A

通过动态

通过动态Alpha混合技术，将预先确定好的第一帧对应的视

觉提示信息与视频帧序列进行逐帧融合101

从融合后的视频帧序列中提取多帧特征，并整合多帧特征生成对应的时空视觉表示

针对视频帧序列中的每一个当前帧，将当前帧对应前一帧的

视觉提示信息与当前帧的视觉特征进行融合，生成视频帧序

列中第一帧之后所有帧的视觉提示信息

根据动态Alpha混合系数，对视频帧序列中每两个相邻帧的

视觉提示信息进行平滑过渡，以通过自回归语言模型，并结

合文本指令与时空视觉表示，生成对应的视频理解结果

103

J04

CN120236225A权利要求书1/3页

2

1.一种基于多模态大模型的视频理解方法，其特征在于，所述方法包括：

通过动态Alpha混合技术，将预先确定好的第一帧对应的视觉提示信息与视频帧序列进行逐帧融合；

从融合后的视频帧序列中提取多帧特征，并整合所述多帧特征生成对应的时空视觉表示；其中，所述时空视觉表示用于反应视频动态变化；

针对所述视频帧序列中的每一个当前帧，将所述当前帧对应前一帧的视觉提示信息与所述当前帧的视觉特征进行融合，生成所述视频帧序列中第一帧之后所有帧的视觉提示信息；其中，每个前一帧的视觉提示信息是根据位于所述前一帧之前的所有帧依次进行融合得到的；

根据动态Alpha混合系数，对所述视频帧序列中每两个相邻帧的视觉提示信息进行平滑过渡，以通过自回归语言模型，并结合文本指令与所述时空视觉表示，生成对应的视频理解结果。

2.根据权利要求1所述的一种基于多模态大模型的视频理解方法，其特征在于，将预先确定好的第一帧对应的视觉提示信息与视频帧序列进行逐帧融合之前，所述方法还包括：

通过以下公式计算所述视频帧序列中当前帧的动态Alpha混合系数：

at=σ(w1g(It,Ip,t;Q)+W?αt-1)

其中，αt表示当前帧的动态Alpha混合系数，o表示归一化函数Sigmoid函数，g(·)表示全连接神经网络，I表示视频帧序列中第t个视频帧，I,t表示第t个视频提示帧，φ表示网络中的可学习参数集，w?表示当前帧的权重系数，w?表示上一帧的权重系数，αt-1表示上一帧的混合系数。

3.根据权利要求1所述的一种基于多模态大模型的视频理解方法