原创力文档- 1、本文档共30页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
提升大模型数学推理能力
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
演讲人：文亮-奇虎360-资深算法专家
DataFunCon#2024
Contents
目录
大语言模型合成数据
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
混合指令训练优化
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
01大语言模型
大语言模型-结构总览
模型时间公司范式规模
GPT32020OpenAICausal175B
decoder
PaLM2022GoogleCausal540B
decoder
Chinchilla2022DeepMindCausal70B
“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。
decoder
Bloom2022HuggingfaceCausal176B
decoder
ChatGLM2023清华Prefix130B
decoder
Llama2023MetaCausal65B
decoder
Baichuan2023百川Causal53B
decoder
Qwen2023阿里巴巴Causal72B
decoder
大语言模型-结构总览
参数说明GPT2
vocabs词表大小50000
layersTransformer层数24
heads多头注意力数量16
d_modelTransformer层输出大小或隐层大小2048
d_attnAttention层输出大小，d_attn=d_model/heads128
您可能关注的文档
- 基于ByteHouse OLAP架构如何实现⾼性能向量检索-2024大数据大模型峰会.pdf
- 基于Doris湖仓一体分析系统在快手的实践-2024大数据大模型峰会.pdf
- 基于Uplift Model的电商平台优惠券分发优化-2024大数据大模型峰会.pdf
- 基于大模型实现结构化标签提取-2024大数据大模型峰会.pdf
- 基于生成流网络的用户留存建模-2024大数据大模型峰会.pdf
- 加速云端机器学习-Alluxio在小红书的实践-2024大数据大模型峰会.pdf
- 开源框架ModelScope-Agent加速多智能体应用构建-2024大数据大模型峰会.pdf
- 利用LLM打造通用公司智能助理的实践-2024大数据大模型峰会.pdf
- 量化决策的艺术：AB实验与因果推断-2024大数据大模型峰会.pdf
- 面向大规模向量数据的云原生存储解决方案-2024大数据大模型峰会.pdf
文档评论（0）