AI动态汇总:英伟达LlamaNemotron模型表现优异,小米MiBRAG智能引擎亮相.docx

AI动态汇总:英伟达LlamaNemotron模型表现优异,小米MiBRAG智能引擎亮相.docx

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

请务必阅读正文之后的免责条款部分

请务必阅读正文之后的免责条款部分

目录

TOC\o1-2\h\z\uAI重点要闻 4

英伟达开源模型Llama-Nemotron超越DeepSeek-R1 4

小米Mi-BRAG智能引擎亮相 7

星动纪元联合清华发布首个AIGC机器人大模型 9

华为联合清华打造首个园区网络智能体 12

企业动态 15

Mistral发布Medium3大模型 15

阿里开源创新大模型搜索引擎ZeroSearch 17

AI行业洞察 19

腾讯技术团队协助DeepEP通信框架,性能显著提升 19

Anysphere完成9亿美元融资,估值达90亿美元 20

技术前沿 20

RepliBench:检测大模型“自我复制”能力 20

风险提示 24

请务必阅读正文之后的免责条款部分

请务必阅读正文之后的免责条款部分

图表目录

图表1:人工分析智能指数 4

图表2:LN-Ultra253B测评 4

图表3:Puzzle框架 5

图表4:GPQA-Diamond准确率与处理吞吐量之间的权衡 6

图表5:预训练效果对比 6

图表6:训练过程中GPQA-Diamond的准确率得分 7

图表7:Mi-BRAG系统流程 8

图表8:知识问答框架 9

图表9:SuperCLUE-RAG生成能力排行榜 9

图表10:VPP两阶段学习框架 10

图表11:高频预测和执行 11

图表12:VPP定量结果 12

图表13:园区网络智能体架构 13

图表14:网络数字地图时空分析 14

图表15:网络智能体的网络运维Copilot 15

图表16:MistralMedium3模型测评 16

图表17:Mistralvs.Llama4Maverick能力对比 17

图表18:PPO/GRPO无搜索引擎训练架构 18

图表19:DeepSeek致谢腾讯技术团队 19

图表20:ReoliBench 21

图表21:FaultTreeAnalysis 21

图表22:Pass@10表现 23

图表23:RepliBench模型表现 24

AI重点要闻

英伟达开源模型Llama-Nemotron超越DeepSeek-R1

2025年4月,英伟达发布了开源模型Llama-Nemotron,发布后该模型入选人工分析智能指数评选的“最智能”开源模型。Llama-Nemotron系列共有三个模型,分别是LN-Nano8B,LN-Super49B和LN-Ultra253B,从英伟达公布的技术报告看,LN-Ultra253B全面赶超DeepSeek-R1。

图表1:人工分析智能指数 图表2:LN-Ultra253B测评

英伟达, 英伟达,

就在5月6日,英伟达发布了最新的技术报告,从技术报告中可以看出,英伟达团队分析了OpenAI的o1模型和DeepSeek-R1模型,发现现有推理大模型在推理能力方面取得了显著进展,但在推理效率和内存占用方面仍有改进空间。因此,Llama-Nemotron旨在研究如何在不牺牲推理能力的前提下减少模型的内存占用。在训练中,Llama-Nemotron利用合成数据监督微调加强化学习,全面提升模型的推理能力,并且从头构建完善的后训练流程。

Llama-Nemotron模型的构建,分为五个阶段:

第一阶段:神经架构搜索(NAS)。使用神经架构搜索从Llama3模型中进行优化,以实现加速推理。通过块级局部蒸馏构建替代Transformer块的库,并使用混合整数规划(MIP)求解器选择最有效的配置。

请务必阅读正文之后的免责条款部分第二阶段:垂直压缩与FFN融合。对于LN-Ultra模型,引入了FFN融合技术,通过识别并替换连续的FFN块来减少序列深度,提高计算利用率。

请务必阅读正文之后的免责条款部分

第三阶段:知识蒸馏与继续预训练。在NAS阶段之后,LN-Super和LN-Ultra分别进行了知识蒸馏和继续预训练,以提高模型质量并恢复块替换过程中可能引入的质量损失。

第四阶段:监督微调(SFT)。使用混合指令数据和来自强教师模型(如DeepSeek-R1)的推理轨迹进行监督微调,使模型能够执行多步推理。

第五阶段:大规模强化学习。对LN-Ultra进行大规模强化学习训练,特别是在复杂数学和STEM数据集上,使其超越教师模型的能力。

Llama-Nemotron借助神经架构搜索Puzzle框

您可能关注的文档

文档评论(0)

535600147 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:6010104234000003

1亿VIP精品文档

相关文档