CN120071055B 基于多模态大模型的文本到图像生成模型评估方法及系统 （浙江大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120071055B(45)授权公告日2025.07.04

(21)申请号202510546309.9

(22)申请日2025.04.28

(65)同一申请的已公布的文献号申请公布号CN120071055A

(43)申请公布日2025.05.30

(73)专利权人浙江大学

地址310058浙江省杭州市西湖区余杭塘

路866号

GO6V10/74(2022.01)

GO6V10/82(2022.01)

G06T7/00(2017.01)

GO6T11/00(2006.01)

(56)对比文件

CN119601182A,2025.03.11JP7594075B1,2024.12.03审查员王齐强

(72)发明人庄越挺苗嘉旭孟楚天马凡张弛杨易

(74)专利代理机构杭州求是专利事务所有限公司33200

专利代理师傅朝栋张法高

(51)Int.CI.

GO6V10/776(2022.01)权利要求书3页说明书15页附图4页

(54)发明名称

基于多模态大模型的文本到图像生成模型评估方法及系统

(57)摘要

120071055BCN本发明公开了一种基于多模态大模型的文本到图像生成模型评估方法与系统。本发明包括多层次图像信息提取与图像特征矩阵构建、分层文本提示生成与优化、生成图像批量化生成、交互式图像对比与评分、多维反馈与提示修订多个步骤，通过重复执行这些步骤流程动态调整生成策略，直至满足预设停止条件。最终，根据参考图像与最优生成图像的多维视觉评估结果，全面分析目标生成模型的性能表现。本发明的评估方法通过图像再生成任务，使生成模型能够基于参考图像的内容和风格进行精准生成，克服了现有评

120071055B

CN

利用多模态大语言模型(MLIM)对参考图像进行多层次分析，以

全局特征和关键对象信息表作为多层次分析最终输出的图像特征

矩阵信息

基于图像特征矩阵信息生成初始文本提示，并对初始文本提示进行同义扩展和语义增强，生成多样化文本提示集

利用所述多样化文本提示集驱动待评估的文本到图像生成模型进行图像生成，得到生成图像集合

通过计算生成图像集合中每张生成图像与参考图像之间的语义相

似度、视觉相似度和结构相似度，以结合三个相似度的综合评分

来评估每张生成图像的质量，并选出综合评分最高的最优生成图

像及对应的最优文本提示

利用所述多样化文本提示集驱动待评估的文本到图像生成模型进行图像生成，得到生成图像集合

通过计算生成图像集合中每张生成图像与参考图像之间的语义相

似度、视觉相似度和结构相似度，以结合三个相似度的综合评分

来评估每张生成图像的质量，并选出综合评分最高的最优生成图

像及对应的最优文本提示

S2

S3

S4

S5

CN120071055B权利要求书1/3页

2

1.一种基于多模态大模型的文本到图像生成模型评估方法，其特征在于，包括：

S1、利用多模态大语言模型对参考图像进行多层次分析，首先提取参考图像中整体宏观的全局特征，然后根据全局特征筛选出参考图像中的关键对象，对两两关键对象之间的交互关系进行识别和重要度评分从而筛选出重要交互关系，针对每个重要交互关系对应的两个关键对象生成交互关系描述，最后进一步抽取每个关键对象在参考图像中显示的细粒度特征信息构建关键对象信息表，并将所述交互关系描述合并至关键对象信息表中，以所述全局特征和所述关键对象信息表作为多层次分析最终输出的图像特征矩阵信息；

S2、基于图像特征矩阵信息生成初始文本提示，并对初始文本提示进行同义扩展和语义增强，生成多样化文本提示集；

S3、利用所述多样化文本提示集驱动待评估的文本到图像生成模型进行图像生成，得到生成图像集合；

S4、通过计算生成图像集合中每张生成图像与参考图像之间的语义相似度、视觉相似度和结构相似度，以结合三个相似度的综合评分来评估每张生成图像的质量，并选出综合评分最高的最优生成图像及对应的最优文本提示；

S5、利用多模态大语言模型分析最优生成图像与参考图像在语义、视觉和结构方面的差异，基于差异分析结果对所述最优文本提示进行反馈改进后将其作为新的初始文本提示；