大模型本地部署教程.docx

PAGE/NUMPAGES

从选型到上线：大模型本地部署60天实操复盘教程

××科技有限公司技术部｜2026年5月—7月｜撰写人：张××

一、为什么要在本地部署大模型

先说动机。我们公司大约有120名员工，日常要用AI写文案、整理会议纪要、做代码辅助，2026年5月之前一直走公有云API。财务那边拉了一下账：4月份API费用2.87万元，5月份眼看要破3万，而且用量还在涨，市场部一个人一个月就能烧掉两三千元的额度。更麻烦的是研发部多次反馈，涉及客户数据的Prompt不能发到外部接口，4月有两批材料的合规审核被卡住，原因是数据出境流程走不通。所以我5月8日立项，目标很具体：把主力模