生成算法评估指标体系.docxVIP

生成算法评估指标体系

生成算法评估指标体系

生成算法评估指标体系

一、评估指标体系的总体框架与基础维度

（1）准确性与结果一致性是生成算法评估指标体系中最基础也最容易被误用的部分。准确性并不单纯指模型输出看起来“像真的”，而是指生成内容在事实层面、逻辑层面和任务层面是否与给定输入、上下文约束以及领域知识保持一致。对于文本生成算法，需要考察实体名称、时间地点、数值关系、因果链条是否错误；对于图像生成算法，需要考察物体结构、空间关系、材质光照是否与提示词一致；对于音频与视频生成算法，需要考察音色、口型、动作连贯性是否出现漂移。结果一致性则进一步要求同一提示词在多次采样下不应产生互相矛盾的事