清华社课件生成式人工智能通识（微课视频版）第2章 大语言模型技术.pptxVIP

;;本章深入探讨了大语言模型（LLM）技术及其在NLP领域的核心地位和广泛应用。从Blockhead思维实验出发，揭示了LLM在模仿人类语言和生成文本方面的潜力与挑战。接着，详细介绍了NLP的发展历程，从基于规则的方法到深度学习的广泛应用，特别是Transformer架构对NLP的深远影响。同时，探讨了LLM的崛起，包括其大规模参数、复杂结构以及预训练和微调的训练过程。;此外，本章还介绍了生成对抗网络（GAN）、变分自编码器（VAE）和流模型等生成模型，分析它们在图像生成、文本生成、数据增强等任务中的应用。最后讨论了LLM的幻觉现象，包括其分类、成因以及检测和缓解方法，全面呈现了LLM技术的现状与未来发展方向。;;PART01;在任何现有或想象的计算机系统中，存储有着数千个单词的所有可能序列都是不现实的。与之相比，这些序列的数量甚至使得宇宙中的原子数量都看起来都是微不足道的。因此，研究人员重新利用神经网络的试验和真实方法，将这些巨大的集合减少到更易管理的形式。

神经网络最初被应用于解决分类问题——决定某物是什么。例如输入一张图片，网络将确定画面上是狗还是猫。神经网络必须以一种使相关输入产生相似结果的方式来压缩数据。;1981年，内德·布洛克构建了一个“Blockhead（傻瓜）”假说——假定科学家们通过编程，在Blockhead内预先设定好了近乎所有问题的答案，那么，当它回答问