本地算力部署DeepSeek详细流程.pptx

DeepSeek

1

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。

DeepSeekR1671B全量模型的文件体积高达

720GB，对于绝大部分人而言，本地资源有限，很难达到这个配

置。

蒸馏版本：https://huggingface.co/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般

公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，

并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwen模型，基本32B以下，并不

能完全发挥出DeepSeekR1的实力。

2

比较流行的是使用ollama：/

Ollama(/library，可以理解为替换前面的

服务器端，在本地作为服务端，可以是别的平台)

+ChatBox、CherryStudio等(https://chatboxai.app/zh，前

端，可以是别的工具如Chrome插件PageAssist或Anything

LLM)

1Ollama

2Ollama

傻瓜式安装。过程如下：

安装过程：

安装完后，验证是否安装成功：

”win+r“输入cmd

命令行输入如下：

ollama-v

能显示ollama版本说明安装成功。

3r1

4

b代表10亿参数量，7b就是70亿参数量。这里的671B是

HuggingFace经过4-bit标准量化的，所以大小是404GB。

ollama支持CPU与GPU混合推理。将大致视为

系统的“”。

如果你想运行404GB的671B，建议你的内存+显存能达到500GB以

上。

除了模型参数占用的内存+显存空间(比如671B的404GB)以

外，实际运行时还需额外预留一些内存(显存)空间用于上

下文缓存。预留的空间越大，支持的上下文窗口也越大。所

以根据你个人电脑的配置，评估你选择部署哪一个版本。如

果你想运行404GB的671B，建议你的内存+显存能达到500GB

以上。

这里我们以7B为例，大多数的电脑都能够运行起来。

5DeepSeek

在命令行中，输入如下命令：

ollamarundeepseek-r1:7b

首次运行会下载对应模型文件：

下载支持断点续传，如果下载中速度变慢，可以鼠标点击命

令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到

上一条命令，即”ollamarundeepseek-r1:7b“，按下回车会重

新链接，按照之前进度接着下载。

如果不想下载，也可以直接使用我们提供的下载好的模型文

件，按照后续小节“修改models文件夹路径”的步骤配置好环

境变量和对应models文件夹的路径即可。

下载完成后，自动进入模型，直接在命令行输入问题，即可得到

回复。

比如：打个招呼！

比如：你好，鲨鱼为什么会溺水呢？

获取帮助：

/?

退出对话：

/bye

6

查询已有模型：

ollamalist

后续要运行模型，仍然使用之前的命令：

3

本地部署好模型之后，在命令行操作还是不太方便，我们继

续使用一些客户端工具来使用。

CherryStudio