机器学习的前生今世.docx

机器学习的前生今世

自从2017年谷歌发表了题为“AttentionisAllYouNeed”的重磅论文，其中提出的“自注意力”这一革命性的概念成为Transformer模型的核心部分，引领了我们目前正在经历的?AIGC?革命。然而，当前的大模型领域似乎并不是姓“谷”的，反倒是有种微软一手遮天，谷歌和其他公司在后追赶的感觉。

为什么现在会出现这种“逆转”的情况呢？谷歌现在都做了些什么工作？为了解答这个问题，谷歌首席科学家?JeffDean?于?2月?13日在美国莱斯大学进行了一场1小时12分钟的公开演讲，突出展示人工智能和机器学习领域中几个令人振奋的趋势，并介绍了谷歌在人工智能时代的过去、现在与未来所做的工作，还概述了大家都很感兴趣的Gemini系列多模态模型。这场演讲的时间很有意思，因为谷歌随后在2月15日发布了Gemini1.5，然后在同一天被OpenAI的Sora“背刺”了一手，抢尽风头。

要弄懂这场演讲，首先就得了解JeffDean。他于1999年加入谷歌，目前担任谷歌首席科学家，专注于GoogleDeepMind和GoogleResearch的人工智能进展。他的研究重点包括机器学习和人工智能，以及将人工智能应用于以有益于社会为基础的问题。他的工作对谷歌搜索引擎的多个版本、其初期广告服务系统、分布式计算基础设施（如BigTable和MapReduce）、TensorFlow开源机器学习系统以及许多库和开发者工具都产生了重要影响。

本文将整理JeffDean这场演讲的内容（有部分删改），让我们一起看看谷歌在AI时代已经做了什么，未来又有哪些计划。

一、Dean观察到的“质变”与“增长”

我将为大家介绍机器学习中令人兴奋的趋势。这将是一场广泛而不深入特定领域的演讲，其重点是让你们了解这个领域的发展历程以及其中的激动人心之处。同时我们也需要认识到其中的机遇，以及在为大家构建这项技术时应该注意的事项。

我会分享谷歌许多人的工作，其中有些是我亲身参与并共同撰写的，而有些则是我认为值得大家了解的优秀工作。

让我们从一些观察开始。在近些年，我认为机器学习真的改变了我们对计算机能力的期望。如果回想一下十年前，语音识别技术只能称得上“勉强能用”，但并不是非常流畅，会产生很多错误；计算机对图像并不能做到真正理解，无法从像素水平理解图像中的内容；在语言方面，自然语言处理领域当时已有一些工作，但机器对语言概念和多语言数据的深刻理解并不是很明显。

现在，机器学习已经从那个阶段转变到了一个比十年前的期望更好的状态，计算机已经能够看到和感知到我们周围的世界，而这创造出了更多机会。

让我们想象一下，当动物突然之间进化出眼睛时会发生什么？我们目前在计算领域就有点类似于这个阶段。我们现在有了能够看到和感知的计算机，这是一个完全不同的局面。

AIGC绘制图片

另一个观察是规模的增长，比如计算资源使用的大幅增加以及专用计算机技术的广泛应用。我注意到数据集在不断扩大，不仅更加丰富多元，而且愈发引人关注；同时，机器学习模型的构建规模也在不断突破以往。这种规模的增长往往能够带来性能上的显著提升，过去10至15年的发展历程已经对此进行了有力验证：每当我们将规模进一步扩大，无论是解决问题的能力还是结果的准确性，都会实现一个质的飞跃。原本无法触及的精度阈值被逐渐突破，新的功能和应用也随之应运而生，使得以前难以企及的事物变得触手可及。

这种基于全新机器学习范式的计算需求与传统的、依赖于人工编写的复杂C++代码大相径庭，现有的许多CPU设计初衷是为了高效运行此类传统代码。鉴于此，为了更有效地执行这类新型计算任务，我们需要寻求不同类型、更为适应的硬件解决方案。

实际上，我们可以通过聚焦于计算机需要执行的一系列更为专一的任务，并针对这些任务优化硬件性能，使其在特定领域内表现出卓越的效率。这样一来，当我们需要扩展规模时，就能够更加便捷且高效地实现这一目标。

二、计算机技术的十年飞跃

我刚刚应该带大家回想了一下十年前，事实上计算机技术在过去的十年间确实取得了令人瞩目的飞跃，特别是在机器学习和人工智能领域。从图像识别到语音处理、翻译以及生成式模型的运用，这些进步都极大地拓宽了我们与计算机交互的可能性。

计算机视觉、语音识别和自然语言处理技术在过去的十年间取得了令人瞩目的进步。十年前，计算机难以从原始图像像素中准确识别并归类到成千上万的不同类别中，但现在这一任务对它们来说已不再是难题。音频处理方面也有了显著提升，现今的计算机不仅能通过分析音频波形来理解并转写5秒内的语音内容，而且语音识别系统的准确率和实时性相较于过去有了大幅提升。

在翻译领域，机器翻译的进步使得诸如将