代码大模型训练CodeBuddy 技术分享.pptx

代码大模型训练CodeBuddy技术分享

讲者简介与分享目的讲者简介腾讯AI产品技术专家CodeBuddy代码模型负责人分享目的分享我们做AI产品的模型研发历程传达大模型时代AI产品和模型研发的方法论2

目录技术和产品背景大模型时代大模型的方法论代码领域的特点代码大模型产品代码大模型的训练专家驱动的模型优化数据驱动的模型优化产品和技术的未来3

大模型时代模型的智能化程度极大提升,带来很大的想象空间。4

大模型训练的方法论预训练:得到base模型爬取互联网数据,进行自监督训练(预测下一个token)目的是让模型获取知识后训练:得到instruction/chat模型标注少量有标签数据

文档评论(0)

1亿VIP精品文档

相关文档