人工智能技术发展与应用探索演讲.pptxVIP

人工智能技术发展与应用探索

王磊

中国科学院自动化研究所研究员

中科闻歌董事长

北京·2025年2月;

01人工智能技术发展

02Deepseek认知与影响

03AI+金融实践案例

04创业介绍—中科闻歌;

01人工智能技术发展;

ChatGPT揭开通用人工智能序幕

弱人工智能→强人工智能

1956-19701970-20102010-20202021-2035

“如何用机器模拟人的智能”

会看

会听;

大模型优势特点与不足

通顺通识通用通畅

优势;

ChatGPT不是基础科学突破，是工程积累奇迹;

大模型：智力密集型工程

ChatGPT学习方法：先量后质的分阶段学习

阶段一：泛学（学习多样文本）阶段二：矫正（遵循人类指示）阶段三：拟人（符合人类偏好）;

ChatGPT:

OpenAI在拉丁美洲和东欧等地区招募了约1000名远程外包员工进行数据标注

ChatGPT：人力密集型工程;

大模型：大数据与大算力

1750亿参数

45TB数据GPT4

8000亿个单词的语料库;

大语言模型应用迭代路径

感知认知智能

大语言模型多模态大模型;

体现

局限于聊天、写作类常规文案应用；与核心业务脱节

AI+，就是部署大模型和微调大模型

大模型黑箱化，直接端对端解决重大应用问题

一个大模型包打天下，无所不能;

AI+行业落地三步曲

STEP1STEP2STEP3;

分析挑战

信息庞杂、动态化

深度认知分析难

本源规律趋势预测难;

抓手与支撑：打造领域大模型

积累通域+领域数据、模型规模适中、从头训练

前瞻性定义领域大模型与业务系统标准接口，多型共进，形成MoE(混合专家模型)生态，严格把好内容安全关，连续测试;

02Deepseek认知与影响;

特点:

?Multi.headLatentAttention

?DeepSeekMoE(2024.1.11)

?开源模型中效果第??梯队

DeepSeekv2

(16Btotal.2.4Bactivated236Btotal,21Bactivated)

2024.6.19;

“有限算力+算法创新”发展模式是突破算力卡脖子限制的关键

“开源”加速促进人工智能技术快速迭代

强化学习高效模型架构创新开源;

DeepSeek三大特征

特征一：复制OpenAIo1技术思路;

DeepSeek三大特征

特征二：通过工程优化极致压缩训练成本

架构侧优化提升训练推理效率

?MoE：采用细粒度专家和共享专家，671B参数，每个token激活参数37B，降本增效。

?MLA：多头潜在注意力（Multi-HeadLatentAttention）通过低秩压缩减少KV缓存。

?MTP：通过预测多个未来token提升规划能力（Multi-TokenPrediction），也用于推理加速。

Infra优化榨干阉割版特供显卡性能

?计算集群：2048*NVIDIAH800GPU并行训练。

?训练框架：流水线并行+专家并行+数据并行，定制化PTX指令集（所谓“绕过CUDA”），提升节点间通信效率。

?FP8混合精度训练：首次验证FP8训练的可行性，显著降低GPU内存使用并加速训练。;

DeepSeek三大特征

特征二：通过工程优化极致压缩训练成本

DeepSeek通过PTX编程“绕过CUDA”？

?CUDA和PTX的关系：

?PTX（ParallelThreadExecution）是英伟达的并行线程执行中间表示语言（底层汇编语言）

?CUDA（ComputeUnifiedDev