- 0
- 0
- 约7.06千字
- 约 12页
- 2026-11-20 发布于北京
- 举报
从零部署本地大模型:vLLM+Qwen完整实战指南
本文记录了一次完整的本地大模型部署实战:以vLLM为推理框架,以Qwen3.8-27B-FP8为目标模型,从环境安装、模型下载、服务启动、Agent接入,一直做到Systemd服务化与监控面板。文中所有IP、密钥均为示例值,请替换为你自己的配置。
一、依赖环境的安装
一般来说,部署一个可供多人使用的大模型服务,都会选择vLLM框架,所以在安装前我们需要先装好vLLM。
vLLM官方教程[1]推荐使用的是UVPython环境管理器,这个工具现在已经被越来越多的主流项目推荐。
1.安装UV
#MacOSLinux
curl-LsSfhttps://astral.sh/uv/install.sh|sh
2.在UV环境中安装vLLM
uvvenv--python3.12--seed
source?.venv/bin/activate
uvpipinstallvllm--torch-backend=auto
3.预备国内模型下载渠道
在实际使用过程中,HuggingFace的网络连接并不稳定,这时可以选择使用国内平台加速模型下载,所以需要提前装一个包:
uvpipinstallmodelscope
二、目标模型的确定
使用vLLM下载模型十分简单,通
原创力文档

文档评论(0)