海理定理与受限玻尔兹曼机中的对比散度.docVIP

海理定理与受限玻尔兹曼机中的对比散度

一、海理定理：统计力学与机器学习的桥梁

1.1海理定理的核心内涵

海理定理（Hammersley-CliffordTheorem）是统计力学与概率图模型领域的基石性理论，由Hammersley和Clifford于1971年正式提出。该定理建立了马尔可夫随机场（MarkovRandomField,MRF）与吉布斯分布（GibbsDistribution）之间的等价关系，为复杂系统的概率建模提供了统一框架。

从数学角度看，海理定理可表述为：一个随机变量集合上的分布是马尔可夫随机场，当且仅当它可以表示为吉布斯分布。具体而言，若随机变量集合(X={X_1,X_2,...,X_n})构成马尔可夫随机场，则其联合概率分布可表示为：[P(X)=\frac{1}{Z}\exp\left(-\sum_{C\in\mathcal{C}}V_C(X_C)\right)]其中，(Z=\sum_X\exp\left(-\sum_{C\in\mathcal{C}}V_C(X_C)\right))是配分函数（PartitionFunction），用于归一化概率分布；(\mathcal{C})是所有最大团（MaximalClique）的集合；(V_C(X_C))是定义在团(C)上的势能函数（P