- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
请务必阅读正文之后的免责条款部分
请务必阅读正文之后的免责条款部分
目录
TOC\o1-2\h\z\uAI重点要闻 4
英伟达开源模型Llama-Nemotron超越DeepSeek-R1 4
小米Mi-BRAG智能引擎亮相 7
星动纪元联合清华发布首个AIGC机器人大模型 9
华为联合清华打造首个园区网络智能体 12
企业动态 15
Mistral发布Medium3大模型 15
阿里开源创新大模型搜索引擎ZeroSearch 17
AI行业洞察 19
腾讯技术团队协助DeepEP通信框架,性能显著提升 19
Anysphere完成9亿美元融资,估值达90亿美元 20
技术前沿 20
RepliBench:检测大模型“自我复制”能力 20
风险提示 24
请务必阅读正文之后的免责条款部分
请务必阅读正文之后的免责条款部分
图表目录
图表1:人工分析智能指数 4
图表2:LN-Ultra253B测评 4
图表3:Puzzle框架 5
图表4:GPQA-Diamond准确率与处理吞吐量之间的权衡 6
图表5:预训练效果对比 6
图表6:训练过程中GPQA-Diamond的准确率得分 7
图表7:Mi-BRAG系统流程 8
图表8:知识问答框架 9
图表9:SuperCLUE-RAG生成能力排行榜 9
图表10:VPP两阶段学习框架 10
图表11:高频预测和执行 11
图表12:VPP定量结果 12
图表13:园区网络智能体架构 13
图表14:网络数字地图时空分析 14
图表15:网络智能体的网络运维Copilot 15
图表16:MistralMedium3模型测评 16
图表17:Mistralvs.Llama4Maverick能力对比 17
图表18:PPO/GRPO无搜索引擎训练架构 18
图表19:DeepSeek致谢腾讯技术团队 19
图表20:ReoliBench 21
图表21:FaultTreeAnalysis 21
图表22:Pass@10表现 23
图表23:RepliBench模型表现 24
AI重点要闻
英伟达开源模型Llama-Nemotron超越DeepSeek-R1
2025年4月,英伟达发布了开源模型Llama-Nemotron,发布后该模型入选人工分析智能指数评选的“最智能”开源模型。Llama-Nemotron系列共有三个模型,分别是LN-Nano8B,LN-Super49B和LN-Ultra253B,从英伟达公布的技术报告看,LN-Ultra253B全面赶超DeepSeek-R1。
图表1:人工分析智能指数 图表2:LN-Ultra253B测评
英伟达, 英伟达,
就在5月6日,英伟达发布了最新的技术报告,从技术报告中可以看出,英伟达团队分析了OpenAI的o1模型和DeepSeek-R1模型,发现现有推理大模型在推理能力方面取得了显著进展,但在推理效率和内存占用方面仍有改进空间。因此,Llama-Nemotron旨在研究如何在不牺牲推理能力的前提下减少模型的内存占用。在训练中,Llama-Nemotron利用合成数据监督微调加强化学习,全面提升模型的推理能力,并且从头构建完善的后训练流程。
Llama-Nemotron模型的构建,分为五个阶段:
第一阶段:神经架构搜索(NAS)。使用神经架构搜索从Llama3模型中进行优化,以实现加速推理。通过块级局部蒸馏构建替代Transformer块的库,并使用混合整数规划(MIP)求解器选择最有效的配置。
请务必阅读正文之后的免责条款部分第二阶段:垂直压缩与FFN融合。对于LN-Ultra模型,引入了FFN融合技术,通过识别并替换连续的FFN块来减少序列深度,提高计算利用率。
请务必阅读正文之后的免责条款部分
第三阶段:知识蒸馏与继续预训练。在NAS阶段之后,LN-Super和LN-Ultra分别进行了知识蒸馏和继续预训练,以提高模型质量并恢复块替换过程中可能引入的质量损失。
第四阶段:监督微调(SFT)。使用混合指令数据和来自强教师模型(如DeepSeek-R1)的推理轨迹进行监督微调,使模型能够执行多步推理。
第五阶段:大规模强化学习。对LN-Ultra进行大规模强化学习训练,特别是在复杂数学和STEM数据集上,使其超越教师模型的能力。
Llama-Nemotron借助神经架构搜索Puzzle框
您可能关注的文档
- “反脆弱”系列专题之八:中国制造“难替代性”?.docx
- “反脆弱”系列专题之七:增量政策,如何“审时度势”?.docx
- “科创债”新政了解一下.docx
- “学海拾珠”系列之二百三十五:新闻公告与短久期溢价.docx
- “一揽子”政策增强稳地产预期,关注建材板块底部机会.docx
- 《推动公募基金高质量发展行动方案》八大要点解读:公募新规如何影响行业生态?.docx
- 4月家电出口同比下滑.docx
- 4月进出口数据点评:出口不确定性的“β、α”二分法.docx
- 4月全民航运输旅客预计同比增长8.6%,中邮保险举牌东航物流.docx
- 4月全球PMI:关税拖累开始显现.docx
- AI赋能资产配置:借力大模型应对特朗普言论风险信号.docx
- A股2024年年报及2025年一季报总结:24年全A业绩微降,25年一季度净利同比增速转正.docx
- A股七大资金主体面面观:谁在卖?.docx
- A股趋势与风格定量观察:市场高位震荡,或待情绪再起.docx
- A股投资启示录:重估A股的基本原理,权重指数篇.docx
- A股投资者结构分布测算.docx
- BL宏观量化策略模型配置展望:中印股市机会同在,消费风格强势不改.docx
- C919纳入瑞安航空采购策略,国产大飞机海外影响力提升.docx
- ETF市场及配置策略跟踪月报:宽基大幅净流入,ETF市场总规模突破4万亿.docx
- Q1盈利显著回升,游戏/电影表现亮眼.docx
最近下载
- XXX社区康养生活驿站.pptx VIP
- 南昌市新建区事业单位招聘考试题目及答案2025.docx VIP
- 2025年社区康养站产业链发展研究报告.docx VIP
- 1.八项规定主题教育知识应知应会题库(含答案).docx VIP
- 专题19 实验的基础知识及仪器的使用(解析版)-2025版高考物理一轮复习知识清单.pdf VIP
- 专题22 电学实验(解析版)-2025版高考物理一轮复习知识清单.pdf VIP
- 新媒体文案创作(山东联盟)知到课后答案智慧树章节测试答案2025年春齐鲁理工学院.docx VIP
- 2025年八项规定主题教育知识应知应会题库及答案详解1套.docx VIP
- 教你三步查看老婆微信聊天记录.docx VIP
- 维修电工高级技师论文.doc VIP
文档评论(0)