《大语言模型概论》课件 第3章 语言模型及其发展.pptxVIP

;语言模型是NLP领域的基础任务和核心问题，其目标是对自然语言的概率分布建模。大量的研究从n元语言模型、神经语

言模型以及预训练语言模型等不同角度开展

了一系列工作，这些研究在不同阶段对NLP

任务有重要作用。随着基于谷歌Transformer

的各类语言模型的发展，以及预训练微调范

式在NLP各类任务中取得突破性进展，从

OpenAI发布GPT-3开始，对LLM的研究逐渐

深入。;虽然大模型的参数量巨大，通过有监督微调和强化学习能够完成非常多的任务，但其基础理论仍然离不开对语言的建模。此外，作为一种能够创造新的内容或预测未来数据的人工智能技术，生成式人工智能（GenAI）包括用于生成文本、图像、音频和视频等各种类型内容的模型，它不仅可以理解和分析数据，还可以从学习的数据模式中派生出来，创造新的、独特的输出。;;PART01;语言模型起源于语音识别。输入一段音频数据，语音识别系统通常会生成多个句子作为候选，判断哪个句子更合理？这就需要用到语言模型对候选句子进行排序。语言模型的应用范围如今已经扩展到机器翻译、信息检索、问答、文摘等众多自然语言处理领域。;语言模型是这样一个模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。例如，词序列A“这个网站|的|文章|真|水|啊”，这个明显是一句话，一个好的语言模型也会给出很高的概率。再看词序列B“这个网站|的|睡觉|苹果|好快