《互信息的估计方法及应用概述》2200字.docxVIP

互信息的估计方法及应用概述

目录

TOC\o1-3\h\u32384互信息的估计方法及应用概述 1

256711.1互信息的深度估计方法 1

266211.1.1MINE 2

213571.1.1DeepInfoMax 3

113471.1.1InfoNCE 3

49091.2互信息的应用 4

互信息是衡量随机变量之间关系的一个基本量。在信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，互信息是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。如今，互信息在包括特征提取在内的多个领域和任务中都得到了广泛的应用。接下来，本章将首先总结互信息的深度估计方

法，而后梳理其在深度学习中的应用场景。

1.1互信息的深度估计方法

简单来说，互信息度量了两个随机变量X和Z之间的依赖关系，其定义如公式3-1所示：

是随机变量的香农熵。互信息能够捕捉变量之间的非线性依赖关系。尽管互信息是信息论中一种重要的度量，但一度很难计算[41]。对于离散变量或概率分布已知的情况，互信息的值能够被精确计算。但大多数问题情境下并不满足以上两个条件。在过去，常见的互信息估计方法方法通常