全球人工智能简史（2024）.docx

全球人工智能简史

Foreword

前言

如今我们正在进入人工智能(AI)带来的第五次工业革命，人工智能技术的运行速度远远快于人类的输出，并且能够生成曾经难以想象的创造性内容，例如文本、图像和视频，这些只是已经发生的一部分。人工智能的发展速度前所未有，要理解我们如何走到今天，就有必要了解人工智能的起源。人工智能的历史可以追溯到19世纪，几乎每几十年都会有重大的里程碑事件出现，并对人类社会产生深远的持续性影响。

尽管计算机和人工智能的历史并不算长，但它们已经从根本上改变了我们所看到的东西、我们所知道的东西以及我们所做的事情。对于世界的未来和我们自己的生活来说，没有什么比这段历史如何延续更重要。要了解未来会是什么样子，研究我们的历史往往很有帮助。这就是本文所要做的，我回顾了计算机和人工智能的简史，人工智能发展历程中发生的一些重大事件，看看我们对未来可以期待什么。

全球人工智能简史2024|Fastdata极数

大语言模型简史

ABriefHistoryOfLargeLanguageModels

在瞬息万变的技术世界中，一个迷人的概念已经吸

引了科技爱好者的想象力和普通人的好奇心：大型语言模型(LLM)。这些人工智能的非凡壮举不仅可以理解人类语言，还可以生成与人类行为非常相似的文本。随着我们深入探索广阔的人工智能世界，掌握基础知识和推动我们走到这一步的最新突破至关重要。

无论您是想丰富自己对人工智能理解的爱好者，还是对日常接触的技术所依赖的人工智能感兴趣的人，这段探索大型语言模型领域及其历史起源的旅程都将是一次令人着迷的探险。在踏上探索大型语言模型内部工作原理的征程时，我们必须认识到大语言模型在人工智能发展的历史中有着深厚的影响，可以追溯到20世纪中叶。要了解人工智能的发展方向，我们必须回到过去，向众多像艾伦·马西森·图灵这样才华横溢的人致敬，是他们的开创性努力为我们今天看到的LLM格局奠定了基础。

全球人工智能简史2024|Fastdata极数

什么是大型语言模型(LLM)？

大型语言模型是生成或嵌入式文本的基础模型（一种大型神经网络）。它们生成的文本可以通过为其提供起点或“提示”来进行调节，从而使其能够用自然语言或代码解决现实世界中有用的问题。

数据科学家和研究人员通过自监督学习，在大量非结构化数据上训练LLM。在训练过程中，模型接受缺少一个或多个单词的单词序列。然后，模型预测缺失的单词，这个过程不仅会为模型产生一组有价值的权重，还会为每个输入的单词产生一个嵌入。

在推理时，用户向LLM提供“提示”——模型用作起点的文本片段。首先，模型将提示中的每个标记转换为其嵌入。然后，它使用这些嵌入来预测可能跟随的所有可能标记的相对可能性。然后，它以半随机的方式选择下一个标记并重复此过程，直到模型选择STOP标

记。

你可以把它想象成一条从零到一的数字线。从左边开始，大型语言模型会将标记的概率从大到小堆叠起来。该线的第一部分，从0到0.01，可能是“你好”。

第二部分，从0.01到0.019，可能是“世界”，依此类推。然后，模型在该数字线上选择一个随机点并返回与其关联的标记。实际上，大型语言模型通常只将自己限制在具有相对较高可能性的标记上。这就是为什么当输入提示“我去看了纽约”时，例如，当GPT-3发布时，其生成的第一个标记几乎总是与该城市相关的运动队或表演场地。

全球人工智能简史2024|Fastdata极数

大语言模型简史

?萌芽前的准备

大型语言模型是一种人工神经网络（算法），在短短几年内就从新兴发展到广泛应用。它们在ChatGPT的开发中发挥了重要作用，而ChatGPT是人工智能的下一个进化步骤。生成式人工智能与大型语言模型相结合，产生了更智能的人工智能。大型语言模型(LLM)基于人工神经网络，深度学习的最新改进支持了其发展。

大型语言模型还使用语义技术（语义学、语义网和自然语言处理）。大型语言模型的历史始于1883年法国语言学家米歇尔·布雷亚尔提出的语义概念。米歇尔·布雷亚尔研究了语言的组织方式、语言随时间的变化以及语言中单词的连接方式。目前，语义用于为人类开发的语言，例如荷兰语或印地语，以及人工智能编程语言，例如