基于主客观融合的人工智能跨模态生成内容质量及效能测度研究.pdfVIP

150情报理论与实践第47卷2024年第11期实践研究

1,21,23

●唐昆,李白杨,张心源

(1.南京大学信息管理学院,江苏南京210023;2.南京大学数据管理创新研究中心,江苏苏州

215163;3.郑州大学信息管理学院,河南郑州450001)

基于主客观融合的人工智能跨模态生成内容质量及效能测度研究∗

摘要:[目的/意义]生成式人工智能不同算法、训练数据及优化目标引致的生成质量与效能差异性与不确定性

凸显,急需提出一种测度基准准确反映真实质量,从而为在人智协同中更好整合生成式人工智能技术提供有益参考。

[方法/过程]以主流跨模态文生图领域为例,综合考虑生成式人工智能接入、生成以及评估三阶段过程,结合客观标准

主观感知两个维度进行质量测度以及全工作流效能评估基准构建,并基于投入产出视角结合所提基准进行测度。[结果/

结论]实证结果表明,性别、年龄、就职状态以及数字素养对主观感知表现出一定影响,过于片面地看待生成式人工智

能可能带来AI辨识障碍;Midjourney表现出较强的主观感知质量,且综合值已超过人类,Imagen2在综合客观质量测度

中表现更强;生成速度与主观得分呈现出显著正相关,而提示词长度与主、客观得分呈现出显著负相关;质量偏好者选

择如Midjourney的高成本、高回报工具,效能追求者选择如SDXL-Turbo的低成本、高效率工具,而两者兼顾则可选择

Imagen2。

关键词:生成式人工智能;人工智能生成内容;生成质量;工作流效能;主客观融合

DOI:10.16353/ki.1000-7490.2024.11.016

引用格式:唐昆,李白杨,张心源.基于主客观融合的人工智能跨模态生成内容质量及效能测度研究[J].情报理

论与实践,2024,47(11):150-161.

Cross-modalArtificialIntelligenceGenerativeContentQualityandEfficacyMeasurement

BasedonSubjective-ObjectiveConvergence

1,21,23

TangKun,LiBaiyang,ZhangXinyuan

(1.SchoolofInformationManagement,NanjingUniversity,JiangsuNanjing210023;

2.ResearchInstituteforDataManagementInnovation,NanjingUniversity,JiangsuSuzhou215163;

3.SchoolofInformationManagement,ZhengzhouUniversity,HenanZhengzhou450001)

Abstract:[Purpose/significance]Variabilityanduncertaintyinthequalityandeffectivenessofgenerationduetodifferental-

gorithms,trainingdata,andoptimizationgoalsforgenerativeAIarehighlighted,thereisanurgentneedtoproposeameasurement

benchmarkthataccuratelyreflectsreality,soastoprovideausefulreferenceforbetterintegrationofgenerativeAItechn