《大语言模型概论》教学课件 第3章 语言模型及其发展.pptx

语言模型是NLP领域的基础任务和核心问题，其目标是对自然语言的概率分布建模。大量的研究从n元语言模型、神经语

言模型以及预训练语言模型等不同角度开展

了一系列工作，这些研究在不同阶段对NLP

任务有重要作用。随着基于谷歌Transformer

的各类语言模型的发展，以及预训练微调范

式在NLP各类任务中取得突破性进展，从

OpenAI发布GPT-3开始，对LLM的研究逐渐

深入。;虽然大模型的参数量巨大，通过有监督微调和强化学习能够完成非常多的任务，但其基础理论仍然离不开对语言的建模。此外，作为一种能够创造新的内容或预测未来数据的人工智能技术，生成式人工智能（GenAI）包括用于生成文本、