- 1、本文档共17页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
内容目录
内容目录
Doubao-1.5-pro基础能力全面提升 4
高效MoE模型,平衡模型性能和推理成本 5
多模态能力全面提升 9
视觉多模态:性能进一步提升,从容应对更复杂场景 9
语音多模态:通过语音语义联合建模,打破传统“ASR+LLM+TTS”级联限制 10
“豆包版o1”推出,实现RLscaling 13
豆包情感语音功能落地移动端,图灵测试“终结者” 14
豆包电话升级情感语音功能,高拟人化应用空间广阔 14
豆包情绪理解和情感表达优于GPT-4o,“去AI味”效果显著 16
投资建议 17
风险提示 18
图表目录
图表目录
图1.Doubao-1.5-pro在多个基准上的测评结果 4
图2.Doubao-1.5-pro输入输出价格 4
图3.Doubao-Dense和Doubao-MoE的训练loss图 5
图4.利用二次多项式拟合,获得不同最小计算预算下激活参数最优数量的ScalingLaw 6
图5.Llama3.1、Doubao-MoE和Doubao-Dense的Performance对比图 7
图6.不同阶段的计算和访存特征 8
图7.Doubao-1.5-pro在多个视觉基准上的测评结果 9
图8.DoubaoViT在多种视觉分类任务中的表现 10
图9.豆包支持任意分辨率和极端长宽比图像识别以及复杂指令遵循能力 10
图10.从语音识别到语义分析到语音生成的原理图 11
图11.ECSS由多源知识、基于异构图的情感上下文编码器和情感对话语音合成器三个部分组成 12
图12.近期国内更新的情感语音大模型 12
图13.Doubao-1.5-pro-AS1-Preview在AIME上的评测结果 13
图14.豆包推理能力的初步泛化 13
图15.豆包App电话页面 14
图16.豆包融入生活成为智能助手 15
图17.豆包模仿经典文艺作品 15
图18.豆包演唱歌曲 15
图19.豆包做情感/心理疏导 15
图20.豆包在角色扮演中切换自如 16
图21.豆包快速切换喜怒哀乐等情绪表达 16
图22.豆包根据复杂要求编故事 16
图23.豆包实时联网查询播报信息 16
图24.豆包实时语音大模型与GPT-4o的满意度对比 17
1 Doubao-1.5-pro基础能力全面提升
Doubao-1.5-pro采用MoE(混合专家)架构,通过训练—推理一体化设计,保证模型性能的同时尽量降低推理成本。2025年1月22日,豆包底层大模型更新至Doubao-1.5-pro(包括文本、视觉、实时语音、推理等多个专家模型),其仅用较小的激活参数,即可超过一流超大稠密预训练模型的性能,并在多个评测基准上取得优异成绩,在知识、编码、中文方面形成明显优势。
图
图1.Doubao-1.5-pro在多个基准上的测评结果
数据来源:豆包大模型团队,
严控推理成本,版本升级价格不变。Doubao-1.5-pro-32k的千tokens输入单价为0.0008元,千tokens输出单价为0.002元,与Doubao-pro版本保持一致。其价格大约为GPT-4o-0806批量版本(千tokens输入单价0.00125美元)的10%,豆包在保障性能的同时,具备显著价格优势,加速国内企业接入国产大模型API服务。
图
图2.Doubao-1.5-pro输入输出价格
数据来源:火山引擎,
高效MoE模型,平衡模型性能和推理成本
从训练和推理效率的角度出发,Doubao-1.5-pro使用稀疏MoE架构。在预训练阶段,仅用较小参数激活的MoE模型,性能即可超过Llama3.1-405B等超大稠密预训练模型。团队通过对稀疏度ScalingLaw的研究,确定了性能和效率比较平衡的稀疏比例,并根据MoEScalingLaw确定了小参数量激活的模型即可达到世界一流模型的性能。
在预训练模型基础上,算法团队还设计了一系列模型参数动态调整算法。可以基于具体应用对模型性能的需求,从模型深度、宽度、MoE专家数、激活专家数、隐藏token推理等不同维度,对模型参数进行扩增和缩小,达到模型能力和推理成本的最优平衡。
图3.Doubao-Dense和Doubao-MoE的训练loss图
数据来源:豆包大模型团队,
研究MoE模型的ScalingLaw,以便在预训练前确定最优参数设置。通常密集型模型的训练计算资源预算使用公式C
您可能关注的文档
- 机构行为观察之五:2025理财规模可期,收益难寻.docx
- 机器人行业2025年度策略:算力提效、全球共振、产品迭代.pptx
- 基础化工行业深度报告:乙二醇,跬步已积,行将致远.docx
- 基础化工行业深度-印度化工:崛起的新势力?.docx
- 基础化工行业专题研究报告:周期与成长共振,建议关注涨价和新材料方向.docx
- 基金选品系列研究之二:十问透视主动权益基金四季报重要变化.docx
- 基金选品系列研究之一:ETF之外,投资双创还有哪些选择?.docx
- 基金转债持仓分析:24Q4转债基金仓位创新高,增配光伏顺周期.docx
- 基金转债持仓季度点评:24Q4基金转债持仓的纠结与逻辑.docx
- 计算机行业:AI竞赛加速,国内技术与应用快速崛起.docx
- 在2025年系统新提拔科级干部座谈会上的讲话提纲.docx
- 2024年度乡镇(街道)民主生活会班子检视问题整改方案(四个带头).docx
- 县委常委班子2024年度民主生活会主持词.docx
- 局领导2024年度民主生活会对照检查材料(“四个带头”方面).docx
- 某局领导班子2024年度民主生活会对照检查材料(“四个带头”方面).docx
- 2024年度民主生活会银行纪委书记个人对照检视发言材料.docx
- 街道人大工委议政代表会制度工作推进情况汇报.docx
- 2024年度民主生活会班子检视问题整改方案(四个带头).docx
- 2024年县委党建工作总结.docx
- 教育局民主生活会“四个带头”班子对照检查材料.docx
最近下载
- 熊氏真传少林大易筋经 李佩弦 【武林 】1983第4期.pdf
- 2024复工复产安全专题培训课件.pptx
- 规范PAS2050--中文版_精品文档.pdf VIP
- GBT19025-2023 质量管理 培训指南.pdf
- 2024年管道工技能竞赛理论考试题库-下(多选、判断题汇总).docx VIP
- 《旅游情景英语》课件Unit 6 Touring and Sightseeing.ppt
- 2025年春节后复工复产“开工第一课”安全生产培训课件.pptx VIP
- 医院医德医风考核表.docx VIP
- 第五章 典型飞行控制系统分析-NEW培训资料.ppt VIP
- 人教版六年级数学上册期末测试卷(4套)有答案.pdf
文档评论(0)