第二章：信息的度量.pptVIP

BUPT Press 7. 递增性 例2.2.2运用熵函数的递增性，计算H(1/3,1/3,1/6,1/6) BUPT Press 8.极值性 即 此式表示在离散信源情况下，信源各符号等概率分布时，熵值达到最大。 BUPT Press 证明：设概率矢量P=(p1,p2, …pn),并有 另设随机变量 ∵log Y在正实数集（Y0)上是一上凸（凹）函数 定义区间（a,b)上的一个函数f(x) 为凹函数，如果对任意x1,x2∈(a,b)和 ，有 BUPT Press ∴根据Jensen不等式（Jensen不等式：如果f是一个凹函数，X是取值X的一个随机变量，E表示数学期望，则E[f(x)] ≤f(E[X])） BUPT Press 2.3 平均互信息 2.3.1 平均互信息的概念 为了从整体上表示从一个随机变量Y所给出关于另一个随机变量 的信息量，我们定义互信息 在的 联合概率空间中的统计平均值为随机变量X和Y间的平均互信息： 定义2.6 BUPT Press 2.3.2 平均互信息的性质 1.非负性: 平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。 2.互易性（对称性）： 对称性表示Y从X中获得关于的信息量等于X从Y中获得关于的信息量。 3.平均互信息和各类熵的关系: 当 统计独立时， BUPT Press 4. 极值性： 极值性说明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。 5. 凸函数性: 定理2.1 当条件概率分布 给定时，平均互信息 是输入分布 的上凸函数。 定理2.2 对于固定的输入分布 ，平均互信息量 是条件概率分布 的下凸函数。 BUPT Press 2.3.3 数据处理定理 为了证明数据处理定理，我们需要引入三元随机变量 的平均条件互信息和平均联合互信息的概念。 定义2.7 平均条件互信息 它表示随机变量 给定后，从随机变量 所得到得关于随机变量 的信息量。 定义2.8 平均联合互信息 它表示从二维随机变量 所得到得关于随机变量 的信息量。 BUPT Press 定理2.3 （数据处理定理） 如果随机变量 构成一个马尔可夫链，则有以下关系成立： 等号成立的条件是对于任意的 ，有 数据处理定理再一次说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及丢失信息的输入端，就不能再恢复已丢失的信息，这就是信息不增性原理，它与热熵不减原理正好对应，反映了信息的物理意义。 BUPT Press §2.4相对熵 §2.4.1 相对熵也称鉴别信息、方向散度、交叉熵、Kullback熵、K-L数等。相对熵是两个概率分布差异的一种度量。 设离散随机变量X的可能取值为 且X的概率分布与假设H1和H2有关，即在假设H1下，X的概率分布为 在假设H2下，X的概率分布为 另外，假设H1和H2成立的概率分别为p(H1 )和p(H2) BUPT Press 则根据条件概率公式和全概率公式，有 上式右边第一项是已知X取xk时，假设H1和H2的对数似然比，右边第二项是未知X取xk时，假设H1和H2的对数似然比，可以看出 对数似然比刚好等于随机变量X在取xk前后假设H1和H2的对数似然比之差。 BUPT Press 定义2.3.1 我们定义 为随机变量X在取xk时所提供