2025预训练数据策略的探索与实践.docxVIP

  • 2
  • 0
  • 约5.69千字
  • 约 34页
  • 2025-12-04 发布于湖南
  • 举报

预训练数据策略的探索

2025

01 数据质量

02

?录 03

04

05

数据配?代码数据数据合成Takeaway

数据质量

Why

Whydataqualityimport?-LlamavsPhi

训练数据量对?

llama-系列对?phi-系列

得益于数据质量的不断探索和优化,Phi系列模型在总计算FLOPS不到Llama系列1/10的条件下,达到了更好的模型效果

训练数据量对?

llama-系列对?phi-系列

得益于数据质量的不断探索和优化,Phi系列模型在总计算FLOPS不到Llama系列1/10的条件下,达到了更好的模型效果

Den

文档评论(0)

1亿VIP精品文档

相关文档