谷歌发布新模型PaLM2，推进搜索、办公等场景全面落地，期待移动端AIGC生态的发展.pdf

事件： 谷歌推出新模型 PaLM2，并对原有产品进行了更多 AI 赋能：北美时间 2023 年5 月10 日，谷歌召开2023 Google I/O 开发者大会。在会上，谷歌推出了新 一代的大语言模型PaLM 2，PaLM 2 相对于上代大模型PaLM 参数量更少，但 性能表现更优，主要得益于更多元化的数据集和更理想的模型缩放比例。谷歌 同时还宣布已有超过25 个 AI 产品和功能全线接入 PaLM 2，包括原有对话机 器人Bard，AI+ 办公助手Duet AI，AI+搜索引擎等。 我们的观点： 1、PaLM 2 参数量更少，数据集更多元化，效果远 优于PaLM 整体来看，此次发布的 PaLM 2 相对于上一代大模型 PaLM 参数量虽然更低， 但得益于更多元化的数据集和更理想的模型缩放比例，其在此次性能评估中全 方面地优于PaLM，并展现了与GPT-4 竞争的实力。 1.1、PaLM 2 参数量更少 Google PaLM 2 此次推出了四种不同大小的模型，分别为 Gecko （壁虎）、 Otter （水獭）、Bison （野牛） 和 Unicorn （独角兽）。其中最大的模型参数 量也比原来PaLM 的参数量小很多，而最小的版本Gecko 则可以直接在手机上 运行，即使离线也能在设备上正常工作。之所以 PaLM2 具备较强的性能，是 因为谷歌在模型缩放时对模型参数量与训练数据集的比例进行了优化，过去常 认为缩放模型参数量速度大致为数据集 3 倍表现较为理想，而谷歌研究结论证 明，缩放参数量与数据集比例为 1：1 时模型表现更好。这种新技术使得 PaLM2 虽然比PaLM 参数更少，但更高效，且具有更好的性能。 5 图1：PaLM 2 不同规模的四个版本 资料来源：谷歌I/O 开发者大会 1.2、PaLM 2 训练数据集更多元化 此前的大语言模型使用的训练数据集大多是英文文本。PaLM 2 改进了训练数 据库，使用了更多的语种和多形态的训练数据集，包括 100 多种人类和编程语 言、数学方程、书籍和网页。通过对数据多元化的处理，PaLM 2 在多语言理 解，编程和推理上都有不俗的表现，再次验证数据的重要性。 1.3、性能测评 PaLM2 全面领先 PaLM，与GPT-4 形 成正面竞争 通过对 PaLM2 进行专业语言测试（C2），PaLM2 在所有测评语言中表现均优 于PaLM。同时在六大维度classification and question answering, reasoning, coding, translation and natural language generation 的测试中，PaLM2 表现均 优于PaLM，并展现出与GPT-4 竞争的实力。 6 图2 ：PaLM 2 在语言熟练度测试（C2）中表现大大优于PaLM 《PaLM 2 Technical Report》 图3 ：PaLM 2 在逻辑推理能力上的基准测试结果不逊色于GPT-4 资料来源：《PaLM 2 Technical Report》 图4 ：PaLM 2 在具有思维链prompt 或自洽性的测试集上的测试结果 资料来源：《PaLM 2 Technical Report》 7 2、Google 旗下超 25 个 AI 产品接入 PaLM2，全 面布局AI 产品生态 开发者大会上，Google 也展示了其对应用侧的积极布局，宣布已有超过 25 款 产品和功能接入PaLM2，展示了Google 打造全链路AI 产品生态的决心。 2.1、AI+对话：Bard 全面开放，多模态能力提升 Bard 将由 PaLM 2 提供底层模型支持，同时谷歌还宣布完全开放 Bard 的使用 权限，并推出了多个多模态功能，如回复中可自带图像内容，支持图像输入， 以及支持第三方软件的调用。Bard 代码能力也得到了全方位的增强，目前支持 超过 20 种编程语言，可以直接通过文本提示的形式生成代码，并继续通过与 模型对话对代码进行微调。 图5 ：Bar