- 0
- 0
- 约4.17千字
- 约 27页
- 2026-11-20 发布于福建
- 举报
科技前沿、信息技术课件PromptTuning详解
目录
CONTENTS
02.
04.
05.
01.
03.
06.
概述与背景
优势与局限性分析
核心原理剖析
应用场景与实践
关键技术与流程
前沿展望与总结
01
概述与背景
大语言模型微调技术演进
传统微调范式
早期自然语言处理依赖更新整个预训练模型参数来适配下游任务,但随着模型参数量呈指数级增长,该方法面临巨大的计算资源消耗与高昂的存储成本壁垒。
灾难性遗忘风险
在全参数微调过程中,模型在特定任务上学习新知识时,极易丢失原有预训练阶段掌握的通用语言知识,导致跨任务迁移能力大幅下降。
参数高效微调崛起
为突破全量微调的效率困境,学术界提出仅训练少量附加参数即可实现任务适配的高效微调技术,显著降低了大模型应用的算力与显存门槛。
PromptTuning的核心定义
软提示替代硬提示
将传统人工设计的离散文本提示转化为连续的、可学习的软提示向量,直接在输入序列前添加可训练的提示token以激发模型内在知识。
计算成本显著降低
通过仅调整极少量的提示参数,大幅降低了反向传播过程中的计算资源需求,同时避免了为每个下游任务保存独立完整模型副本的高昂开销。
参数隔离机制
在训练过程中完全冻结预训练语言模型的所有主体参数,仅对新增的提示部分嵌入向量进行梯度更新与优化,实现参数隔离。
与全量微调的差异对比
可训练参数量
全量微调需要更
原创力文档

文档评论(0)