XX云大模型技术与教育智能体应用.docxVIP

XX云大模型技术与教育智能体应用

PART1

PART1

目录

PART2模型训练与模型推理平台

PART3RAG知识库构建平台

PART4智能体构建平台

PART4

PART5

PART5

01

大模型落地方向概要

教育行业技术与产品的发力方向

大模型在高校落地的四个场景及阶段

结合校级师生

结合校级师生工作学习数据

LLM结合DataAI

借助训练、调优工具，提升可用性

结合院系师生文档知识LLM+RAG（私域）或联网搜索（公域）

结合院系师生文档知识

LLM+RAG（私域）或联网搜索（公域）

借助确定、权威的知识，提升可用性

自建大模型/调用DSAPI

纯大模型能力

独立思考，快问快答

结合院系内部系统及平台

LLM结合Agent或Workflow

借助knowhow、业务流

程，

提升可用性

02

模型训练与推理平台

高校训练自有大模型的便捷平台

严格先进先出空闲插队优先级空闲插队调度策略任务管理与运营标签分组管理定时扩缩容队列可视化排队策略训推一体、潮汐调度l大幅提升算力资源利用率l大幅降低算力运营精力优先级调度灵活的标签优先级组合

严格

先进先出

空闲插队

优先级

空闲插队

调度策略

任务管理

与运营

标签分组

管理

定时

扩缩容

队列

可视化

排队策略

训推一体、潮汐调度

l大幅提升算力资源利用率

l大幅降低算力运营精力

优先级调度

灵活的标签优先级组合

高优抢占训推联动抢占策略

大幅减%型权重对对显存的占用

单位时间内处理更多请求

(QueriesPerMinute)

TTFT缩短70%大幅降低首字延时(TimeToFirstToken)

推理加速能力业界领先

l内置Angel加速套件，DeepSeekR1/V3满血版推

理加速能力处于行业第一梯队

l支持SGLang、vLLM开源框架、灵活配置的PD分离能力

l即将支持kvstore方案、DP+EP并行能力

QPM提升380%

并发上限提升4倍

单节点支持更大并发数

显存占用缩小

以上为Angel加速方案相比开源方案的DeepSeekR1/V3推理性能提升

全面支持多种训练模式

l适配DeepSeek全系模型，覆盖精调、蒸馏、强化学习等训练模式

l支持故障自动迁移、CKPT自动续跑

l稳定支持单任务2～3个月长时间持续运行

专属

专属模型

全参/LoRA

全参/LoRASFT

强化学习

蒸馏

DeepSeek满血

DeepSeek满血版

DeepSeek蒸馏版模型

其他开源模型

模型训练

长上下文(64~128K)超大模型启动加速独享GPU算力集群私有API服务调用高并发、高可用企业级鉴权流控算力投入持续降低核心收益纳管资源组大模型

长上下文(64~128K)

超大模型启动加速

独享GPU算力集群

私有API服务调用

高并发、高可用

企业级鉴权流控

算力投入持续降低

核心收益

纳管资源组

大模型专属GPU算力包月独享

服务管理与运营

容器调度

按量计费算力池

算力调度

CPU及传统GPU算力按需按量

并行解码

模型量化

Sampling及batch优化

一体化服务管理工具及推理加速能力

一体化服务管理工具

指标监控鉴权/限流流量分配

实时掌握服务性能、调用量、资源消耗等关键指标自动调度符算力资源.弹性灵活应对业务峰谷

HPA扩缩容定时扩缩容组合扩缩容

提供多种扩缩容策略.满足不同场景的灵活资源需求

Angel推理加速

并行优化

DeepSeek全系列

R1

R1、V3满血版

R1-Distill-Llama-70B

R1-Distill-Llama-70B

R1-Distill-Qwen-32B

R1-Distill-Qwen-32B

R1-Distill-Qwen-14B

R1-Distill-Qwen-14B

R1-Distill-Llama-8B

R1-Distill-Llama-8B

R1-Distill-Qwen-7B

R1-Distill-Qwen-7B

R1-

R1-Distill-Qwen-1.5B

核心收益满血版模型一键精调?256卡H20?全参SFT?8小时蒸馏后模型多模式精调?全参+LoRA双模式

核心收益

满血版模型一键精调

?256卡H20

?全参SFT

?8小时

蒸馏后模型多模式精调

?全参+LoRA双模式

?低至1卡A10

注重灵活性、扩展性的生产级大模型精调工具链

R1、V3满血版

R1-Distill-Llama-70B

R1-Distill-Qwen-32B

R1-Distill-