通过多级文本对齐增强时间序列预测中的大语言模型应用.pdfVIP

通过多级文本对齐增强时间序列预测中的大语言模型

应用

TaibiaoZhao,XiaobingChen,andMingxuanSun

LouisianaStateUniversity,BatonRouge,LA70803,USA

{tzhao3,xchen87,msun11}@

摘要大型语言模型（LLMs）在时间序列预测中的适应性提出了独特的挑

本战，因为时间序列数据本质上是连续的，而LLMs操作的是离散的标记。

尽管LLMs在自然语言处理（NLP）和其他结构化领域取得了成功，但在

译保持预测准确性和可解释性的前提下，将时间序列数据与基于语言的表示

中对齐仍然是一个重大障碍。

现有方法试图将时间序列数据重新编程为文本形式，但这些通常未能提供

2

v有意义且可解释的结果。

0本文提出了一种使用LLMs进行时间序列预测的多层次文本对齐框架，该

6

3框架不仅提高了预测准确性，还增强了时间序列表示的可解释性。

7我们的方法将时间序列分解为趋势、季节性和残差成分，并将其重新编程

0.为特定组件的文本表示形式。

4我们引入了一个多层级对齐机制，在其中组件特定嵌入与预训练单词标记

0

5对齐，使预报更易于解释。

2在多个数据集上的实验表明，我们的方法在准确性上优于最先进的模型，

:

v同时提供了良好的可解释性。

i

x我们的代码可在/ztb-35/MLTA获取。

r

a

Keywords:时间序列·对齐·大型语言模型。

1介绍

大型语言模型（LLMs）在广泛且多样的文本语料库上进行训练，为各

种下游任务提供了强大的基础，只需要少量特定任务的提示工程或微调。这

种灵活性激发了利用LLMs进行时间序列分析的兴趣日益增长。例如，像

Promptcast[14]和LLMTime[5]这样的方法将数值输入和输出重新表述为

提示，将时间序列预测视为句子到句子的任务，从而可以直接应用LLMs。

同时，像TEMPO[2]和GPT4TS[16]这样的方法通过微调预训练的LLMs

ContrastlearningTSEmbeddingTSEmbedding

Top-K

SimilaritypromptK

LinearLinear

…retrieval