海理定理在逆强化学习中的奖励恢复.docVIP

海理定理在逆强化学习中的奖励恢复

一、海理定理的核心内涵与数学表达

海理定理（HarsanyisTheorem）最初由经济学家约翰·海萨尼（JohnHarsanyi）提出，旨在解决不完全信息博弈中的均衡问题。其核心思想可概括为：在不完全信息博弈中，每个参与者对其他参与者的类型（如偏好、策略空间等）存在不确定性，但通过引入“共同先验假设”，即所有参与者对类型分布具有一致的初始信念，可将不完全信息博弈转化为完全但不完美信息博弈，从而找到贝叶斯纳什均衡。

从数学角度看，海理定理可通过以下形式表达：假设存在一个包含n个参与者的博弈，每个参与者i具有类型集合$T_i$，且类型分布$p(t_1,t_2,\dots,t_n)$为所有参与者的共同先验。对于每个参与者i，其在类型$t_i$下的策略为$s_i(t_i)$，收益函数为$u_i(s_1(t_1),s_2(t_2),\dots,s_n(t_n),t_1,t_2,\dots,t_n)$。根据海理定理，存在一个贝叶斯纳什均衡，使得每个参与者的策略都是对其他参与者策略的最优响应，即：

$$s_i(t_i)\in\arg\max_{s_i}\sum_{t_{-i}}p(t_{-i}|t_i)u_i(s_i,s_{-i}(t_{-i}),t_i,t_{-i})$$

其中，$t_{-i}$表示除参与者i外其他参与者的类型组合，$p(