离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决.pdf

【详细】离线部署大模型：

ollama+deepseek+open-webui安装使用

方法及常见问题解决

ollama是一个开源的本地大语言模型运行框架，它提供了非常简单便捷的使用形

式，让用户可以十分方便的在本地机器上部署和运行大型语言模型，从而实现免费离

线的方式使用LLM能力，并确保私有数据的隐私和安全性。

1ollama安装

ollama支持多种操作系统，包括macOS、Windows、Linux以及通过Docker

容器运行。其安装、使用及模型下载非常简单，可以简单概括为以下几步：

•下载ollama安装程序并安装。

•启动ollama，执行命令下载和运行模型。如：ollamarundeepseek-r11.5b

•以命令行交互、API调用、第三方应用接入等形式使用其服务。

1.1硬件要求

ollama本身对硬件要求并不高，主要取决于运行模型的要求。基本建议：

你应该至少有4GB的RAM来运行1.5B模型，至少有8GB的RAM来运行

7B模型，16GB的RAM来运行13B模型，以及32GB的RAM来运行

33B模型。

假若需要本地私有化部署具有实用性的模型，应至少有独立显卡并有4G以上显存。

纯CPU模式虽然也可以运行，但生成速度很慢，仅适用于本地开发调试体验一下。

本人实测在MacStudio2023版(AppleM2Max芯片：12核、32G内存、30核显、

1TBSSD)上，运行deepseek1.5b模型响应非常快，可以较为流畅的运

行deepseek-r132b及以下的模型。

DeepSeek-r1相关版本及大小参考：

参数版本模型大小建议CPU建议内存建议显存特点

deepseek-

1.1GB4核4~8G4GB轻量级，速度快、普通

r1:1.5b

deepseek-

4.7G8核16G14GB性能较好，硬件要求适

r1:7b

deepseek-

4.9GB8核16G14GB略强于7b，精度更高

r1:8b

deepseek-高性能，擅长复杂任务

9GB12核32G26GB

r1:14b如数学推理、代码生成

deepseek-

20GB16核64G48GB专业级，适合高精度任

r1:32b

deepseek-顶级模型，

43GB32核