大模型与提示词自然语言处理开发28课件讲解.pptxVIP

大模型与提示词自然语言处理项目开发何逵田《深度学习技术与应用》

目录CONTENTS01范式转变|自编码vs.自回归02主流模型|GPT-4、ChatGLM3、BERT03提示词结构|任务、输入、输出04零样本/少样本|大模型的学习能力05思维链CoT|让模型像人一样思考06局限与挑战|正视In-ContextLearning的短板

PART01范式转变：从BERT到GPT的核心逻辑对决

自编码范式(BERT)：“完形填空”式的理解型模型通过随机遮蔽句子中的词汇，迫使模型根据上下文预测被遮挡的词。这一过程模拟了人类“完形填空”的阅读习惯，是BERT训练的基石。为了准确预测被遮挡的词，模型必须同时关注左侧和右侧的所有上下文信息。这种双向理解能力使其具备了强大的语义分析基础。在文本分类、命名实体识别、语义相似度判断等需要深度理解语义的任务上表现出色，是自然语言理解（NLU）领域的佼佼者。由于目标是“补全”而非“创造”，BERT难以生成连贯的文本序列。在写作等生成任务中，结果往往零散且缺乏逻辑。核心任务：掩码语言模型(完形填空)模型特点：双向注意力机制优势：卓越的“理解型”模型局限：不擅长生成任务

通过“续写故事”的方式，给定前文预测下一个词，并将预测结果加入上下文循环，形成单向生成链条。核心任务：下一个词预测在对话、故事创作、代码编写