在 TKE 上部署 AI 大模型（以 DeepSeek-R1 为例）.pdf

在TKE上部署AI大模型（以DeepSeek-R1为例）

概述

本文介绍如何在TKE上部署AI大模型，以DeepSeek-R1为例，使用Ollama或vLL

M运行大模型并暴露API，然后使用OpenWebUI提供交互界面。

Ollama提供是OllamaAPI，部署架构：

vLLM提供的是兼容OpenAI的API，部署架构：

Ollama、vLLM与OpenWebUI介绍

Ollama是一个运行大模型的工具，可以看成是大模型领域的Docker，可以下载所需的大模

型并暴露OllamaAPI，极大的简化了大模型的部署。

vLLM与Ollama类似，也是一个运行大模型的工具，但它针对推理做了很多优化，提高了

模型的运行效率和性能，使得在资源有限的情况下也能高效运行大语言模型，另外，它提供

兼容OpenAI的API。

OpenWebUI是一个大模型的WebUI交互工具，支持通过Ollama与OpenAI两种API与

大模型交互。

技术选型

选择Ollama还是vLLM？

Ollama的特点：个人用户或本地开发环境使用Ollama很方便，对各种GPU硬件

和大模型的兼容性很好，不需要复杂的配置就能跑起来，但性能上不如vLLM。

vLLM的特点：推理性能更好，也更节约资源，适合部署到服务器供多人使用，还支

持多机多卡分布式部署，上限更高，但能适配的GPU硬件比Ollama少，且需要根

据不同GPU和大模型来调整vllm的启动参数才能跑起来或者获得更好的性能表现。

选型建议：如果有一定的技术能力且愿意折腾，能用vLLM成功跑起来更推荐用

vLLM将大模型部署到Kubernetes中，否则就用Ollama，两种方式在本文中都有

相应的部署示例。

AI大模型数据如何存储？

AI大模型通常占用体积较大，直接打包到容器镜像不太现实，如果启动时通过initCont

ainers自动下载又会导致启动时间过长，因此建议使用共享存储来挂载AI大模型（先下

发一个Job将模型下载到共享存储，然后再将共享存储挂载到运行大模型的Pod中）。

在腾讯云上可使用CFS来作为共享存储，CFS的性能和可用性都非常不错，适合AI大

模型的存储。本文将使用CFS来存储AI大模型。

GPU机型如何选？

不同的机型使用的GPU型号不一样，机型与GPU型号的对照表参考GPU计算型实

例和GPU渲染型实例，Ollama相比vLLM，支持的GPU型号更广泛，兼容性更好，

建议根据事先调研自己所使用的工具和大模型，选择合适的GPU型号，再根据前面的对

照表确定要使用的GPU机型，另外也注意下选择的机型在哪些地域在售，以及是否售

罄，可通过购买云服务器页面进行查询（实例族选择GPU机型）。

操作步骤

步骤1:准备集群

登录容器服务控制台，创建一个集群，集群类型选择TKE标准集群。详情请参见创建集

群。

步骤2:准备CFS存储

安装CFS插件

1.在集群列表中，单击集群ID，进入集群详情页。

2.选择左侧菜单栏中的组件管理，在组件页面单击新