《人工智能通识》习题解答(第5章-第1部分).pdfVIP

  • 0
  • 0
  • 约3.38千字
  • 约 5页
  • 2026-11-20 发布于重庆
  • 举报

《人工智能通识》习题解答(第5章-第1部分).pdf

《人工智能通识》习题解答(第5章-第1部分)

第5章大语言模型与AIGC

1.大语言模型(LLM)的基本定义、工作原理和主要特点。

(1)大语言模型(LLM)的基本定义大语言模型(LLM)是一类基于深度学习、在海

量文本数据上训练、拥有数十亿甚至数千亿参数、能够理解和生成自然语言的人工智

能模型。它相当于一个超大规模的“文本预测机”,核心能力是预测序列中下一个词出

现的概率,并反复迭代生成完整回答。(2)大语言模型(LLM)的工作原理①数据与

架构:LLM主要基于Transformer架构,利用自注意力机制(Self-Attention)并行处

理文本,捕捉词与词之间的长距离关联,解决了传统循环神经网络(RNN)难以并行

和处理长文本的痛点。②训练流程:训练分为两阶段。第一阶段是预训练,模型在海

量无标注数据上学习语言的统计规律和通用知识。第二阶段是后训练,通过指令微调

让模型听懂人类指令,再借助人类反馈强化学习(RLHF)优化输出质量,使其更符合

人类偏好。③生成方式:模型将输入文本拆分为Token(词元),通过词嵌入转换为向

量,经过多层Transformer计算后,输出一个概率分布,逐个预测下一个最可能出现

的Token,从而生成连贯的文本回复。(3)大

文档评论(0)

1亿VIP精品文档

相关文档