神经网络理论研究的物理学思想.docx

数学的具象化为物理，而物理的尽头则为数学，数学与物理相辅相成，成为理解神经网络乃至智能本质不可或缺的手段。在人工智能正在重塑人类社会方方面面的同时，我们有必要去了解物理学的思想如何影响人们对神经网络乃至自我的认知。

关键词：统计物理，神经网络，机器学习，伊辛模型，对称性破缺

神经网络在当今人工智能研究和应用中发挥着不可替代的作用。它是人类在理解自我(大脑)的过程中产生的副产品，以此副产品，人类希望建造一个机器智能来实现机器文明。这个目标在当下如火如荼的人工智能研究中被无限倍凸显，甚至被认为是一场新的工业革命到来的标志。

在人类社会前几次工业革命浪潮中，物理学扮演了十分重要的角色，或者说，这些革命的理论基石在于物理学原理的突破，如热学、量子力学和相对论。但当今的人工智能革命似乎是经验科学(启发式的诀窍，如Transformer)所驱动的，在过去20年间，尤其是谷歌等互联网巨头加入这场浪潮之后，人工神经网络的架构出现了快速迭代。物理学对神经网络的研究历史悠久，最早①可追溯到20世纪80年代初霍菲尔德(与辛顿一起获得2024年诺贝尔物理学奖)联想记忆网络的提出；物理学思想在这之后对人工神经网络和神经动力学的研究都产生了深远的影响。著名物理学家戴森有一个说法：“严谨理论赋予一个课题以智力的深度和精确。在你能证明一个严格理论之前，你不可能全面了解你所关注的概念的意义。”②获得玻尔兹曼奖的物理学家霍菲尔德也曾在一次访谈中提到，“如果你不能用数学的语言去描述大脑，那你将永远不知道大脑是怎么工作的。”而鉴于他自身的习惯，“如果一个问题和我熟知的物理毫无联系，那我将无法取得任何的进展”。所以，在人工智能正在重塑人类社会方方面面的同时，我们有必要去了解物理学的思想如何影响人们对神经网络乃至自我的认知。

1.从伊辛模型谈起

伊辛模型是统计物理的标准模型[1]。它虽然被用来描述格点上(比如二维表面)磁矩的集体行为，但是却包含了非常丰富的物理图像(比如相变、自发对称性破缺、普适性等)，更让人震惊的是，这个模型的物理图像可以向外扩展到多个似乎毫不相关的学科，如经济学、神经科学、机器学习等。我们先从物理学专业本科生所熟知的态方程讲起：

m=tanh(Jm+h)

这显然是个迭代方程，因为变量m出现在方程式等号的两边，其中J描述了自旋之间的相互作用，m表示磁化强度矢量，h则表示外加磁场。注意到，该态方程在没有外加磁场并且相互作用较弱情况下，有且只有一个平庸解，即所有磁化为零，用物理学语言讲叫顺磁态。然而，当增大相互作用到一定程度时，顺磁态将失去稳定，该方程出现两个非平庸解(物理上叫铁磁解，即m=±M)。这个过程叫自发对称性破缺或连续相变。

这个迭代蕴含了神经网络的形式。神经网络的基本属性可以总结为DNA，即数据(data)、网络(network)和算法(algorithm)，如图1所示。你把初始化m0看成输入数据，每迭代一次将

生成一个新的m，这个就是神经网络的中间隐层表示。然而，奇妙的是，神经网络把J也变成可以变化的量，这就意味着这个模型是可以变聪明的(即能处理每一个输入)。这在传统物理学里很不可思议，因为模型通常需要大物理学家猜出来。而外场可以等价于神经网络的偏置(见图1)。那么如何更新J呢？你只需要写下一个目标函数，即这个神经网络，或者学习中的模型要达到什么样的目标。比如，实现数据的二分类，你可以轻松地写下

这里的a表示数据输入-输出对(x,y)(y在机器学习叫标签)，而fJ就是这个被J参数化的神经网络(其本质显然是一个非常复杂的嵌套函数，类似于上面态方程的多次迭代，只不过每次迭代的J都不一样)。

图1神经网络的迭代示意图

接下来你需要一个算法来驱动这个网络自我更新。这个算法其实就是梯度下降：dJ/dt=-?JE。聪明的读者一眼就认出这是个过阻尼的朗之万动力学，因为人们在训练神经网络时通

常在上面的方程右边加入微弱的白噪声。所以，神经网络的学习过程是在你为它定义的势能函数下的随机游走(或者布朗运动，见图2)，如果你稍微学过一点随机动力学的话，你立马知道这个神经网络的学习过程存在平衡态，其分布正好是玻尔兹曼分布P(J)=(1/Z))e-E/T,其中Z就是统计物理的地标——配分函数，而温度T则控制学习过程随机涨落的程度，类似一个粒子在相同温度