776-人工智能大模型工业应用准确性测评-v3.5.pptxVIP

人工智能大模型工业应用准确性测评2024年3月版1一、前言为贯彻落实党中央国务院关于促进人工智能发展的决策部署，中国工业互联网研究院依托通用人工智能与工业融合创新中心(简称“中心”)，联合香港科技大学、中国经济信息社，深入研究人工智能大模型在工业领域的应用性能、技术架构、标准体系，并在此基础上，形成本报告。结合工业企业大模型应用情况调研，本报告在原有工业知识问答准确性测评的基础上，新增数据分析、工程建模、文档生成、代码理解等四大场景，构建测试数据集，对国内外具有代表性的大模型进行测试，发布新一轮的准确性测评报告，供业界进行参考。本报告测评结果虽经中心专家委论证，但因大模型迭代速度快，技术复杂，囿于工作团队专业知识和能力，报告难免存在分析结论不足等问题，且测评结果仅适用于测试期间，欢迎大家批评指正。2二、测评内容2023年初至今，大模型技术发展突飞猛进，已逐步渗透至工业领域诸多环节，涵盖了知识问答、工程建模、数据分析、文档生成、代码理解等场景，正快速成长为工业转型升级和创新发展的重要动力。石化化工行业?依托国家工业互联网大数据中心，聚焦重点工业行业，汇集高质量语料，形成工业语料库，支撑大模型在工业领域应用测评；?结合工业企业调研，在原有知识问答基础上，新增四类工业应用测评场景，开展大模型在各应用场景的准确性测评。3知识问答结合工业知识，有理有据解答各领域专业性问题。代码理解解答计算机编程问题，分析工业设计、控制代码安全性、计算复杂性。文档生成面向工业应用，有逻辑、有条理地生成总结性、分析性的文本。工业应用准确性测评工程建模面向工业问题，选取基础数学知识，建立数学模型进行求解。数据分析面向工业场景基础结构化数据，分析现象，描述趋势，得出结论。三、测评方法?测评流程?进行判分[2]利用GPT4，根据评分标准，按步骤赋分。进行问答调用待测试大模型API，收集大模型答案。生成判分标准[1]利用GPT4将原有标准答案整理为评分标准，并通过人工校验提升判分标准科学性。筛选题目根据场景、难度、行业，选取有标准答案的题目，经人工校验后形成测试题。?为更贴合应用场景实际，进一步评价模型的多维能力，本期测评题型以问答题为主；?为保障判分的一致性与准确度，问答题的评分方式由人工判分改为大模型判分，并按步骤赋分。[1]对于GPT4，先获取其回答，再用其生成标准答案、进行判分，避免信息泄露；[2]GPT4的API承诺不记录数据用于训练，参考业界成熟方案，使用GPT4的API生成标准答案和判分结果，减少测评误差。4评分标准1.题目类型：每个场景抽取若干题目进行测试，题型以问答题为主。2.题目数量：·知识问答：144道·数据分析：20道·工程建模：100道·文本生成：40道·代码理解：150道注：各场景题目数量虽不一致，但考察要点总量保持在同一个数量级。3.题目得分：需要结合具体题目的评分细则，按照步骤进行赋分，赋分后分数进行归一化处理。4.场景得分：·场景得分为题目总分百分化处理后的分数。·若有细分场景，则场景总分为细分场景的平均成绩。5.综合评分：由各场景算数平均分计算得出。四、测评结果-综合排名?测评成绩大模型准确性排名Top20[1]100908070国际平均556050403020100准确性国内平均54YiGPT4百川3ClaudeCosmoMistralGPT3.5星火3.0星火3.5360智脑MiniMax通义千问文心一言百川13BLlama70bChatGLMGeminiPro天工大模型从容大模型Llama13b(中文微调).综合能力上，GPT4处于领先地位，国内大模型文心一言、ChatGLM紧随其后；.对于国内大模型，多个模型综合能力超过GPT3.5，包括文心一言、ChatGLM、星火3.5、通义千问等；.对于国外大模型，GPT4领先优势明显，其余模型差距较大。[