本地算力部署DeepSeek详细流程.pdf

本地算力部署DeepSeek详

细流程

1、版本选择

本地部署就是自己部署DpSk-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。

使用满血版：DpSkR1671B全量模型的文件体积高达

720GB，对于绝大部分人而言，本地资源有限，很难达到这个配

置。

使用蒸馏版：

蒸馏版本：https://huggingfae.o/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般

公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，

并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwn模型，基本32B以下，并不

能完全发挥出DpSkR1的实力。

2、部署过程

比较流行的是使用ollama：https://ollama.om/

Ollama（https://ollama.om/library，可以理解为替换前面的

服务器端，在本地作为服务端，可以是别的平台）

+ChatBox、ChrryStudio等（https://hatboxai.app/zh，前

端，可以是别的工具如Chrom插件PagAssist或Anything

LLM）

步骤1：下载Ollama

步骤2：安装Ollama

傻瓜式安装。过程如下：

安装过程：

安装完后，验证是否安装成功：

”win+r“输入cmd

命令行输入如下：

ollama-v

能显示ollama版本说明安装成功。

步骤3：选择r1模型

步骤4：选择版本

b代表10亿参数量，7b就是70亿参数量。这里的671B是

HuggingFac经过4-bit标准量化的，所以大小是404GB。

ollama支持CPU与GPU混合推理。将内存与显存之和大致视为

系统的“总内存空间”。

如果你想运行404GB的671B，建议你的内存+显存能达到500GB以

上。

除了模型参数占用的内存+显存空间（比如671B的404GB）以

外，实际运行时还需额外预留一些内存（显存）空间用于上

下文缓存。预留的空间越大，支持的上下文窗口也越大。所

以根据你个人电脑的配置，评估你选择部署哪一个版本。如

果你想运行404GB的671B，建议你的内存+显存能达到500GB

以上。

这里我们以7B为例，大多数的电脑都能够运行起来。

步骤5：本地运行DeepSeek模型

在命令行中，输入如下命令：

ollamarundeepseek-r1:7b

首次运行会下载对应模