使用模板生成数据训练和评估语言模型.pdfVIP

PublishedinICLR2025DATA-FMWorkshop

使用模板生成数据训练和评估语言模型

YifanZhang

UniversityofCalifornia,LosAngeles

yifanzhangresearch@

Abstract

大型语言模型（如GPT-3、PaLM和Llama）的快速发展显著改变了自然语言处理领域，展

现了在理解和生成语言方面的卓越能力。然而，一个基本瓶颈仍然存在：这些模型往往在需

本要复杂多步骤推理的任务上表现出困难，特别是在数学问题解决方面。这种缺陷源于大规模

译高质量特定领域的数据集严重匮乏，这对于培养复杂的推理能力至关重要。为了解决这一挑

中战，我们引入了基于模板的数据生成（TDG），一种新颖且可扩展的范式，利用前沿大型语

4言模型（GPT-4）自动生成参数化元模板，进而