Deepseek为开源领域贡献价值不亚于llama.pptx

Deepseek为开源领域贡献价值不亚于llama

1、deepseek的创新有哪些？

2、deepseek带来的影响有哪些？

3、deepseek、mistral-small、qwen2.5-max哪个好？

4、畅想2025

占冰强AIGCLINK2025.02

•数据集准备创新：初步实现小部分依赖人类数据，大部分依赖机器强化学习

•模型训练架构创新：MLA+MOE+MTP

•算力调配系统创新：并行训练框架HAI-LLM，负载均衡优化实现moe训练gpu利用率低的问题，通信优化，内存优化，计算优化（FP8）

•底层硬件调用创新：部分直接使用了PTX而非底