基于大模型实现因果推断的探讨.pdfVIP

基于大模型实现因果推断的探讨

［1］

展上看，在2022年11月底，OpenAI发布了ChatGPT，

1概述

2023年3月14日，GPT-4也随之发布。这2个模型的

1.1大模型问世让全球切身感受到了人工智能从数据中形成智

大模型指利用海量数据用自监督方法进行训练能的潜力。与此同时，随着MetaAI开源了备受瞩目的

［2］［3］

而生成拥有庞大参数量的机器学习模型，它们为下游LLaMA框架以及斯坦福大学提出了StanfordAlpaca

任务提供了优良的分布式特征表示能力和模型泛化模型，业界开始涌现出更多类型的大模型。在国内，

能力。例如，处理复杂问答的多轮对话能力、人类情百度、腾讯、华为、阿里等互联网头部企业竞相布局AI

感对齐能力、数学问题的求解能力等。从大模型的发产业，并推出“文心一言”“混元AI大模型”“盘古Chat”

——————————“通义千问”等一系列通用化大模型。可见，我国AI大

收稿日期：2023-06-01模型发展加速，行业的垂直应用也呈现出多样性、加

202023/07/DTPT

速性和广泛性。们更好地理解变量之间的因果联系。

1.2因果推断因果推断对大模型的发展起到了促进作用。虽

［4-9］

因果推断是一种统计和推理方法，旨在理解和然，大模型能够在某些因果关系的简单问题上给出正

推断事件、变量或行为之间的因果关系。因果推断可确的答案，但目前的研究还不确定大模型是否能通过

以被总结为3个层次。从问题角度出发，因果推断的自监督学习掌握简单因果关系，并具备了因果推断的

第1个层次是相关性，即探索变量之间的关系。常规能力。然而，复杂因果关系及其可解释性注入到大模

机器学习在应用中主要学习的就是变量之间的相关型学习的方法是还没有深入研究的领域。因此，复杂

性。第2个层次是执因溯果，即研究实施某种干扰因因果关系及其可解释性注入是大模型与因果推断结

素后产生的效果或者收益是否符合预期。第3个层次合的关键问题之一。相应地，基于大模型的因果推断

是由果执因，也被称为反事实推断，即为了得到某种的结论可解释性是大模型与因果推断结合的关键问

结果需要怎么做。现在大多数因果建模都是从这一题之二。

层次来进行探索。此外，多数因和果耦合在了一起，

2大模型因果推断的难点

这可能导致因果推断无法获得满意的结果。因此，从

因果推断的视角来看，将导致推断失误的因素解耦是大模型因果推断的主要难点在于实现从关联分

一个至关重要的问题。与此同时，解耦因果同样对解析到因果推理的跨越。目前深度学习的主要特点是

决训练数据和测试数据的Out-Of-Distribution（OOD）数据驱动、关联学习和概率输出，导致模型普遍存在

问题起到帮助。它有助于更好地理解事件和变量之预测不稳定和不可解释等问题。主要原因是因果机

间的因果联系，从而支持更有效的决策制定和干预措