评价与验收自然语言处理开发12课件讲解.pptxVIP

项目评价与验收自然语言处理项目开发何逵田《深度学习技术与应用》

目录CONTENTS014.8.1指标选取：BLEU、ROUGE与Perplexity详解024.8.2多轮对话评价：从一致性到用户满意度034.8.3模型可控性与安全性：项目验收的底线保障

PART01指标选取:BLEU、ROUGE与Perplexity详解

基于n-gram精确率的评估指标，衡量生成文本与参考文本的表层匹配度。取值范围[0,1]，越接近1代表质量越好。核心定义：表层匹配度的量化评估引入“剪枝精确率”解决重复生成问题，引入“简短惩罚因子”避免模型生成过短的作弊文本，保证评估的公正性。核心特性：防作弊与去冗余1.拆分n-gram序列-2.计算剪枝精确率-3.计算简短惩罚因子-4.加权计算最终BLEU值。计算流程：四步加权计算广泛应用于机器翻译、法律文书生成、客服话术生成等需要严格对齐“标准范本”且追求高效客观评估的任务。应用场景：标准化任务对LEU：标准化文案的质量标尺

BLEU的局限性与优化方向局限性(Limitations)忽略语义相似性仅关注词面匹配，无法识别同义不同词的表达。对词序过度敏感词序变化会显著降低分数，即使语义正确。依赖参考文本质量需要高质量、多样化的参考译文作为基准。优化方向(Optimizations)引入多参考文本为每个源句提