从微调到Agent自然语言处理开发17课件讲解.pptxVIP

从微调到Agent自然语言处理项目开发何逵田《深度学习技术与应用》

目录CONTENTS01参数高效微调：LoRA与P-Tuning02大模型应用框架：LangChain与LlamaIndex03AIAgent入门：核心能力与实践

PART01参数高效微调：低成本定制大模型

传统全参数微调的困境：成本高昂，难以普及核心问题：算力需求呈指数级增长全参数微调需训练模型所有参数，对于千亿级大模型，意味着需调动数十甚至上百块高性能GPU进行海量计算，资源消耗巨大。成本极高：时间与经济的双重负担漫长的训练周期（数天甚至数周）叠加昂贵的硬件投入，使得全参数微调成为一项高门槛的技术，难以快速迭代和验证。适用受限：技术普及的天花板该方法仅适用于拥有强大算力集群的大型科技公司，对于广大的普通企业和个人开发者而言，这种技术几乎是无法企及的。

成本极低训练参数量大幅减少，无需昂贵的集群资源，普通消费级GPU即可完成全流程微调。效果卓越在众多下游任务中，少量参数微调的性能表现可媲美甚至接近全参数微调的效果。通用性强技术架构灵活，可无缝适配各类主流大模型架构，广泛应用于不同类型的下游任务场景。参数高效微调（PEFT）：只动“小部分”，实现大效果核心思想：冻结大部分，微调关键少数不再训练大模型全部参数，而是冻结大部分原始参数，仅更新其中极小部分（通常占比0.1%至1%），通过“抓大放小”实现