- 0
- 0
- 约3.38千字
- 约 5页
- 2026-11-20 发布于重庆
- 举报
《人工智能通识》习题解答(第5章-第1部分)
第5章大语言模型与AIGC
1.大语言模型(LLM)的基本定义、工作原理和主要特点。
(1)大语言模型(LLM)的基本定义大语言模型(LLM)是一类基于深度学习、在海
量文本数据上训练、拥有数十亿甚至数千亿参数、能够理解和生成自然语言的人工智
能模型。它相当于一个超大规模的“文本预测机”,核心能力是预测序列中下一个词出
现的概率,并反复迭代生成完整回答。(2)大语言模型(LLM)的工作原理①数据与
架构:LLM主要基于Transformer架构,利用自注意力机制(Self-Attention)并行处
理文本,捕捉词与词之间的长距离关联,解决了传统循环神经网络(RNN)难以并行
和处理长文本的痛点。②训练流程:训练分为两阶段。第一阶段是预训练,模型在海
量无标注数据上学习语言的统计规律和通用知识。第二阶段是后训练,通过指令微调
让模型听懂人类指令,再借助人类反馈强化学习(RLHF)优化输出质量,使其更符合
人类偏好。③生成方式:模型将输入文本拆分为Token(词元),通过词嵌入转换为向
量,经过多层Transformer计算后,输出一个概率分布,逐个预测下一个最可能出现
的Token,从而生成连贯的文本回复。(3)大
原创力文档

文档评论(0)