如果下棋的语言模型能够看见会怎样？-计算机科学-大语言模型-多模态训练.pdfVIP

如果下棋的语言模型能够看见会怎样？

*1*23313

XinyiChenYifeiYuanJiaangLiSergeBelongieMaartendeRijkeAndersSøgaard

Abstract2023)，本文更关注一个更为务实的假设：融合多种

模态能够促进更高效的learning。这个问题与单模

语言模型经常被认为面临着符号接地问

态模型仍能产生一种指称语义(Søgaard,2023;Huh

题。虽然有些人认为仅从文本中就可以理

etal.,2024)的观点正交但兼容。

解世界，但也有人建议基于现实的训练更

为高效。我们通过国际象棋游戏来探讨这为了探索这一假设，我们转向世界模型的概念——

个问题，在这里棋盘状态定义了一个简化一个学习表示环境潜在状态并预测其随时间演变的

本的、基于规则的世界。在此前工作的基础系统。虽然许多世界模型研究使用高维或连续环境

译上，我们引入了视觉奥赛罗，这是一个多（例如机器人技术或模拟物理），但我们使用黑白棋

中模态模型，它是在移动历史和棋盘图像上游戏作为最小的、符号化的世界，并具有确定性的

1进行训练的。使用下一步预测，我们将它转换和明确定义的规则。

v与单模态基准进行了比较，并测试其对语先前的研究使用此设置通过训练和探测模型——从

0

2义无关扰动的鲁棒性。我们发现，多模态小型变换器(Lietal.,2023;Nandaetal.,2023)到

5训练提高了性能并增强了内部表示的鲁棒大型语言模型（LLMs）(YuanSøgaard,2025)——

4

1性。这些结果表明，将语言接地在视觉输来研究棋步序列中的涌现世界表征。这些研究表明，

.

7入中有助于模型推断结构化的世界表示。语言模型可以学会跟踪棋盘状态，在大规模顺序数

0

5据的训练下形成一个基本的世界模型，尽管这种学

2

:习仍然局限于仅文本领域。

v1.介绍

i

x我们将Othello学习任务扩展到多模态设置中，引

r语言模型是否真正理解“猫”所指代的内容？虽然没入了视觉奥赛罗，这是一种在移动历史序列及其对

a

有人完全掌握猫的本质，人类语言使用者却足够了应的棋盘图像上训练的多模态Othello模型；参见图

解如何恰当地使用这个词——识别图像中的猫，从1。对于每个移动序列，我们生成一组对应的棋盘状

描述中推断出它们，并在语境中自然地使用这个术态图像，每张图像描绘特定时间步长下的棋盘。然

语。单模态的语言模型能否达到这种程度的关联仍后，我们对选定的移动标记应用遮罩策略，并使用

然是一个开放性问题。移动历史和相关的视觉上下文训练模型来预测缺失

与其争论符号接地对于单模态模型是否原则上不可的步骤。

能实现(MitchellKrakauer,2023;MolloMi