原创力文档- 1、本文档共21页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
大模型提示学习与思维链
上海交通大学张倬胜
zhangzs@
/~zhangzs/
大模型“在线求鼓励”
q提示学习？思维链推理？
q“一步一步思考”鼓励大模型实现可解释推理！
大模型的“涌现能力”
q语言模型参数达到一定规模时，某些能力表现（语言推理）会突然大幅提升
q定义：在小模型中未观察到但在大模型中体现出来的能力
q示例：5个大模型在8个任务上验证
•涌现能力的代表
•提示学习
•思维链推理
提示学习（Prompting）
q上下文学习方式
l零样本提示：给出目标指令提示
l少样本提示：提供任务范例提示
q主要功能⼈类友好的交互模式
l针对特定任务的输入-输出格式约束
l提供上下文，缩小知识搜索空间
l无需梯度更新的知识更新手段
TranslateEnglishtoFrench
TranslateEnglishtoFrench
seaotter=loutredemer
cheese=
pepprimint=menthepoivrée
plushgiraffe=girafepeluche
cheese=
(Output)Lefromage(Output)Lefromage
零样本提示少样本提示
4
思维链推理（Chain-of-Thought）
q思维链推理：模拟人类的思考过程，将多步骤推理问题分解成一系列中间步骤，进而实现问题分解和逐步求解
l分配给更多的计算量，生成更长的上下文，实现复杂问题的精细求解
l提升了模型推理的可解释性、可控性、灵活性，有效发挥了大模型在规划、决策、推理等方面的潜力
l2022年经Google正式提出后，发展成为大模型最具代表性的技术之一
5
思维链推理技术（Chain-of-Thought）
q思维链推理：引导模型生成中间思维步骤，进而推导答案
l无需梯度更新
l提升推理性能，增强可解释性
q任务求解方式的变化
l常规模式：问题→答案
l思维链模式：问题→思维链→答案
问
文档评论（0）