可重复、可扩展的自回归模型文献合成管道.pdfVIP

可重复、可扩展的自回归模型文献合成管道

∗

FarukAlpay,BugraKilictas,HamdiAlakkad

AIResearchLab,LightcapInstitute

DepartmentofEngineering,BahcesehirUniversity

2025年8月6日

摘要

本自回归（AR）生成模型研究的迅速加速产生了大量出版物，使研究人员越来越难以跟上最新进展并复

译现实验结果。在先前调查流程的基础上，我们提出了一种全面且可扩展的计算流程，该流程能够自动检索、

中解析、筛选和综合关于AR模型的文献。重点在于将提取模块与可运行脚本整合，并对每个组件进行严格

的评估。我们报告了相关性过滤、超参数提取以及引用识别的定量精确度/召回率测量结果（F10.85），

1

v并通过语言建模、基于Transformer的模型和自回归音乐生成的案例研究，展示了该流程在新领域的可移

2植性。三个复现实验——WikiText-2上的AWD-LSTM、WikiText-103上的Transformer-XL以及训练于

1LakhMIDI数据集上的自回归音乐模型——说明了流程输出如何支持忠实的重新实现。通过消融研究、超

6

4过1,000篇论文的可扩展性实验和故障模式分析，我们强调了该流程的强大性和局限性。详细伪代码、数学

0公式、容器化执行脚本及硬件规格已提供以促进复现。总体而言，我们的研究表明自动文献综合可以支撑快

.

8速发展的机器学习子领域的活报告和可重复研究。

0

5

2

:1介绍

v

i

x

r关于生成模型的研究论文数量在过去十年中呈指数级增长，每周都有几十篇关于大型语言模型和

a

自回归（AR）技术的新论文出现。这一洪流使得手动文献回顾变得不切实际，并且阻碍了可重复性。系

统性文献回顾（SLR）流水线如PROMPTHEUS(Torresetal.,2024)和模块化总结框架(Achkaretal.,

2024)已经表明自动化可以减轻研究人员的负担；然而，它们是领域无关的，并且经常将提取与实验验

证分开。我们的目标是通过提供一个专注于AR模型的完全集成流水线来推进这项工作，该流水线不仅

能够总结研究，还能提取出用于重复实验所需的超参数、架构和指标。

我们工作的动机来自于三个方面的挑战。首先，“文献过载”问题意味着即使是专家也难以跟上新

兴模型和技术的发展。其次，再现性仍然是机器学习中的一个开放问题：代码和超参数的透明报告不足

导致了不可再现的主张(KapoorandNarayanan,2022)。诸如NeurIPS可重现性检查表之类的倡议鼓

励作者记录训练设置和数据集(Pineauetal.,2021)，然而许多论文仍然省略关键信息。第三，AR模型

本身正在迅速演变，从递归架构如LSTMs(Merityetal.,2017;Bengioetal.,2003)到基于Transformer

的系统(Vaswanietal.,2017)和新兴的大语言模型(Touvronetal.,2023)。

∗Correspondingauthor:alpay@lightcap.ai

1

作为回应，我们提出了一种可扩展的流水线，该流水线能够从公共存储库中自动检索与AR相关的

论文，并行解析文档，提取结构化事实，使用带有检索增强的语言模型进行主题分析和总结，并生成可

用于复现实验的脚本。我们的