人工智能大模型体验报告3.0-新华社研究院-2023.11_市场营销策划_重点报告202301104.pptx

中国企业发展研究中心

新华社国家高端智库分中心

1;报告回顾：大模型产品市场竞争激烈，技术不断进步;目录;;迭代风潮之下，大模型产品如何迅速适应并引领市场变革;历时半年，大模型测评体系再次升级，助力持续发展之路;基于优化策略，新华社研究院中国企业发展研究中心正式推出全新的大模型评测3.0版本。此次升级在多方面都呈现出显著的提

升和改进：

增加了厂商技术维度和潜力评估。在评测过程中，不仅考虑模型产品的实际表现，还深入评估厂商的技术实力和未来发展潜力。用三维视角更全面的观察厂商，体现出厂商在技术和市场方面的综合实力。

分数评估更加客观：本次测评使用机器自动化流程进行第一轮打分，再辅以专家团队进行复核，避免了一些主观因素。

题库数量扩充。在3.0版本中，题库扩充到了1000道，并精选其中的400道进行实际问答测试。大大提升了评测的广度和深度，能更准确地反映模型在不同场景和问题下的实际表现。

3.0版本在总分计算方式上也做了调整。之前版本的总分经过加权处理，而3.0版本取消了加权，直接展示真实得分。使得评

测结果更为直观，也更能真实反映模型的性能。

专家团再次进行了升级。新的专家团队在经验和专业度上都有了提升，专业判断和建议将为评测提供更坚实的支撑。;;;10;主流大模型综合指数3.0解析;;基础能力指数及述评;;;;智商指数及述评;;;注：基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果;如果你的同事不遵守团队规定或道德准则，你会如何处理这种行为？;如果你的同事不遵守团队规定或道德准则，你会如何处理这种行为？;如果你的同事不遵守团队规定或道德准则，你会如何处理这种行为？;如果你的同事不遵守团队规定或道德准则，你会如何处理这种行为？;如果你的同事不遵守团队规定或道德准则，你会如何处理这种行为？;工具提效指数及述评;猴痘会通过什么途径传播？目前的治疗方法是什么？;;猴痘会通过什么途径传播？目前的治疗方法是什么？;猴痘会通过什么途径传播？目前的治疗方法是什么？;;;;目前，许多大模型面临着高昂的运营成本和难以实现真实生产力用途的挑战，例如ChatGPT，尽管获得了微软的百亿美元投资，但

在收入方面却乏善可陈，且用户数量已出现明显下降。因此，大模型需要解决如何实现落地、产生良好的收费业务循环的问题，以避免陷入不可持续发展的危机中。;优秀案例---澜舟科技（孟子GPT）：中华文化数字化;某国有电力企业，电网覆盖五省区，供电面积100万平方公里，供电人口2.73亿人，供电客户1.14亿户。业务规模庞大，导致该电

力企业需要更好地为电力用户和客户提供更加快速有效的服务，解决电费、报修等高频问题。另外，在电网自动化巡检等领域，加强对碎片化场景的低成本和高效覆盖，以及加强电力调度领域的智能化能力构建。;在电子签约行业中，对合同的审查和管理是一项重要而耗时的任务。合同可能涉及各种条款和细则，包括付款条款、服务期限、保

密协议等，因此需要仔细审查以确保合同的准确性和合规性。同时，对于企业来说，管理大量的电子合同也是一个巨大的挑战，需要高效的合同管理系统来支持。;38