CN119723423A 自适应的多模态协同视频理解系统及方法 （厦门大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119723423A

(43)申请公布日2025.03.28

(21)申请号202411959661.7

(22)申请日2024.12.30

(71)申请人厦门大学

地址361000福建省厦门市思明南路422号

(72)发明人纪荣嵘罗咏东郑侠武

(74)专利代理机构厦门市新华专利商标代理有限公司35203

专利代理师渠述华

(51)Int.Cl.

G06V20/40(2022.01)

G06V10/80(2022.01)

权利要求书3页说明书7页附图1页

(54)发明名称

自适应的多模态协同视频理解系统及方法

(57)摘要

CN119723423A本发明公开一种自适应的多模态协同视频理解系统及方法，通过自适应的多模态协同处理框架解决长视频理解的挑战。不同于现有技术主要依赖增加采样密度的预训练模型或使用专有模型，本发明设计了一套完整的信息提取和融合机制，能够智能地整合视频中的多维度信息。系统首先通过解耦文本提示将用户查询解析为多维度的信息检索需求，然后通过并行化处理实现同时提取视频中的多模态信息，再采用基于相似度的自适应采样机制实现信息的精准提取以确保处理效率，最后通过信息融合与循环增强机制，使得系统能够持续优化理解结果，直到达到预期的理解深度。本发明能够节