CN119649381A 基于开放词汇表的场景图生成方法、系统、设备和介质 （上海科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119649381A

(43)申请公布日2025.03.18

(21)申请号202411779684.X

(22)申请日2024.12.05

(71)申请人上海科技大学

地址201204上海市浦东新区华夏中路393

号

(72)发明人何旭明刘涛王崇宇

(74)专利代理机构上海汉之律师事务所31378

专利代理师林安安

(51)Int.Cl.

G06V30/18(2022.01)

G06V30/19(2022.01)

G06V30/41(2022.01)

权利要求书3页说明书13页附图3页

(54)发明名称

基于开放词汇表的场景图生成方法、系统、

设备和介质

(57)摘要

CN119649381A本发明涉及一种基于开放词汇表的场景图生成方法、系统、设备和介质。方法包括：获取待处理的图像；将图像输入至场景图生成模型的目标检测网络，识别出图像中的各个实体，并生成各个实体对应的视觉嵌入；将各个实体和对应的视觉嵌入输入至场景图生成模型的关系提案网络，将输入的实体两两组合形成关系提案，并依据关系提案对应的实体及各自的视觉嵌入生成关系嵌入；将各个关系提案对应的关系嵌入和预生成的文本嵌入输入至场景图生成模型的层次预测器，预测出各个关系提案的关系类别；根据关系类别和关系