量化数据对齐在下游模型性能中的重要性-计算机科学-人工智能-大语言模型.pdfVIP

量化数据对齐

在下游模型性能中的重要性

*1*1*1*1*1

KrrishChawlaAryanSahaiMarioDePaviaSudharsanSundarBrandoMiranda

*11

ElyasObbadSanmiKoyejo

Abstract1.介绍

在大型语言模型（LLMs）领域的研究中，历来强调

与传统强调数据集规模不同，我们探讨用于预训练的数据集的大小，声称这是决定LLM性

了数据对齐——一个经常被忽视的数据质能的主要因素之一(Chowdheryetal.,2022;Nostal-

本量方面——在训练有能力的大型语言模型gebraist,2022;OpenAI,2023;Google,2023b)。实证

译（LLMs）中的作用。为此，我们使用基于证据表明了这一趋势，因为基于大数据集训练的模

中任务向量的任务2向量（Task2Vec-based）型表现出更优的性能。值得注意的是，GPT-4，其

3对齐系数作为两个数据集之间相似性的定假设使用了1拍字节（petabyte）的数据集，在响应

v量度量，以量化训练数据和评估数据之间质量和上下文准确性方面明显超越了训练数据量相

6

9的对齐程度对下游性能的影响。具体来说，对较少的45太字节（terabytes）的GPT-3(OpenAI,

4我们在两种设置下进行了控制干预性的实2023)。然而，新兴的研究表明，其他维度，如数据集

8

0验：1.不同预训练（pt）与评估数据集之多样性，在LLM的有效性中也扮演着关键角色，高

.

1间增加的对齐系数的影响，2.领域特定微性能模型通常源自具有高多样性系数的数据集(Lee

0

5调（ft）与领域特定评估之间增加的对齐系etal.,2023)。

2

:数的影响。我们探讨的领域特定任务是自当前讨论主要强调数据集的规模是其有效预训练

v

i动形式化——自然语言和代码之间的机器或微调模型能力的关键因素，经常侧重于定量指标

x

r翻译，用于正式验证。在两种设置下，我——特别是数据集本身的大小。(Leeetal.,2023)然

a

们发现模型训练和评估数据的对齐系数与而，这项研究旨在改变这一范式，考虑定性评估，尤

其下游任务上的损失/困惑度存在强烈的、其是数据集与特定评估任务的一致性。在先前研究

可预测的负相关关系。这些发现表明需要中用于量化数据集一致性的方法()的基础上，我们

重新评估LLM训练方法，展示了与数据数的研究旨在考察数据质量在预训练和微调过程中的

量相比，数据对齐的相关性，特别是在自作用，验证增加数据一致性可以显著提高大语言模

动形式化等专业化下游任务中。