大模型的本地部署和微调.pdf

大模型的本地

部署和微调

陈念东

江苏大任智库AI技术总监

AI研究与应用领域资深专家

大任智库服务—DeepSeek深度应用及创新实践培训与辅导

目录

1、大模型在垂直领域使用时为啥需要修改或增强

2、检索增强生成RAG和微调Fine-tunning选择

3、微调的种类和相关工具框架介绍

4、RAG、Fine-tunning微调时费用常见的估算方法

5、实际微调

lPromptLearning中常使用的技巧介绍

Ø现场演示Prompt微调实列

lLoRA中的常用技巧介绍

Ø现场演示LoRA微调实列

lRLHF常用技巧介绍

Ø现场演示RLHF微调实列

6、大模型垂直领域部署失败的原因介绍

大任智库服务—DeepSeek深度应用及创新实践培训与辅导

大模型在垂直领域使用时为啥需要修改或增强

l目前大模型存在的问题

Ø幻觉问题：LLM有时会生成看似合理但实际错误的内容，这种现象被称

为“幻觉”。这主要是由于预训练数据的局限性，模型可能缺乏特定领

域的知识，或在数据中学习到错误信息。

Ø时效性问题：LLM的训练数据通常截至于特定时间点，因此无法处理训

练后发生的事件或更新的信息。这在需要实时信息的应用中是一个显著

的限制。

Ø大模型（如GPT、LLaMA等）通常是在大规模通用数据上预训练的，因此

在知识覆盖、语言能力上表现优秀，但对于某些垂直领域（如医疗、法

律、金融）的专业知识和特定语境可能并不充分

大任智库服务—DeepSeek深度应用及创新实践培训与辅导

l主要解决的方法：

Ø检索增强生成（RAG）：结合信息检索和生成模型，在生成回答时实时检

索最新的外部信息，以提供准确且最新的内容。

Ø微调（Fine-Tuning）：使用领域特定的数据对模型进行微调，使其更好

地掌握专业知识，减少幻觉现象。

l达成后的效果

Ø专业知识强化：通过微调或增强，模型可以更好地掌握专业术语和领域

知识。

Ø语言风格定制：各个领域有不同的表达方式和风格，微调后模型能更符

合专业语境。

Ø降低风险：对于敏感领域，错误回答可能带来较大风险，定制化模型能

更好地规避这种风险。

大任智库服务—DeepSeek深度应用及创新实践培训与辅导

检索增强生成RAG和微调Fine-Tunning选择

lRAG（Retrieval-AugmentedGeneration）

Ø这种方法不直接修改模型的参数，而是通过引入一个检索模块，在生成

回答时从外部知识库（如文档、数据库）中检索最新或专业的知识来辅

助回答。

Ø优点：可以动态更新知识库，适用于信息更新较快的场景。

Ø缺点：依赖外部检索系统的质量和响应速度。

l微调（Fine-tuning）

Ø通过在垂直领域的专用数据上对大模型进行二次训练，使得模型在领域

知识、语言风格上得到优化。

Ø优点：能使模型深入学习领域知识，响应更贴近专业要求。

Ø缺点：需要准备高质量的数据集，计算成本较高

大任智库服务—DeepSeek深度应用及创新实践培训与辅导

RAG和微调——选择判断的8个依据

1、动态数据

Ø判断依据：当领域数据经常变化、需要实时反映最新信息时，更新外部

知识库比重新训练模型更为便捷。

Ø推荐技术：RAG

Ø通过不断更新检索索引，RAG能够利用最新数据回答问题，而无需频繁

进行模型微调。

2、模型能力定制

Ø判断依据：当需要让模型深入掌握垂直领域的专业知识、定制其输出能

力时，直接在领域数据上微调模型更能达到目的。

Ø推荐技术：微调

Ø通过对预训练模型进行领域微调（如使用PromptLearning、LoRA、

R