信息论基础教程2课件.ppt

极值性 7. 极值性： 式中n是随机变量X的可能取值的个数。 极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离散熵定理。 上凸性 8. 上凸性: 是严格的上凸函数，设 则对于任意小于1的正数 有以下不等式成立： 凸函数在定义域内的极值必为极大值，可以利用熵函数的这个性质可以证明熵函数的极值性。 2.2.3 联合熵与条件熵 一维随机变量的不确定性可以用熵来表示，可以推广到多维随机变量。 定义2.4 二维随机变量 的概率空间表示为 其中 满足概率空间的非负性和完备性： 联合熵 二维随机变量 的联合熵定义为联合自信息的数学期望。 条件熵 定义2.5 给定 时， 的条件熵： 其中， 表示已知 时， 的平均不确定性。 各类熵之间的关系1 1．联合熵与信息熵、条件熵的关系： 关系1之证明 各类熵之间的关系2 熵函数的链规则： 推论：当随机变量X，Y相互独立时，联合熵等于X和Y各自熵之和： 各类熵之间的关系3 2 ．条件熵与信息熵的关系： 各类熵之间的关系3 3 ．联合熵和信息熵的关系： 当X、Y相互独立时等号成立。 2.3 平均互信息 2.3.1 平均互信息的概念 定义互信息 在 的联合概率空间中的统计平均值为随机变量X和Y间的平均互信息： 定义2.6 2.3.2 平均互信息的性质1 1.非负性: 平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。 平均互信息的性质2 2.互易性（对称性）： 对称性表示从Y中获得的关于X的信息量等于从X 中获得的关于Y的信息量。 平均互信息的性质3 3.平均互信息和各类熵的关系: 当 统计独立时， 平均互信息的性质4 4. 极值性： 极值性说明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。 平均互信息的性质5 5. 凸函数性: 定理2.1 当条件概率分布 给定时，平均互信息 是输入分布 的上凸函数。 平均互信息的性质5 平均互信息的性质5 平均互信息的性质6 5. 凸函数性: 定理2.2 对于固定的输入分布 ，平均互信息量 是条件概率分布 的下凸函数。 2.3.3 数据处理定理 定义2.7 平均条件互信息 它表示随机变量 给定后，从随机变量 所得到得关于随机变量 的信息量。 2.3.3 数据处理定理 定义2.8 平均联合互信息 它表示从二维随机变量 所得到得关于随机变量 的信息量。 2.3.3 数据处理定理 2.3.3 数据处理定理 定理2.3 （数据处理定理） 如果随机变量 构成一个马尔可夫链，则有以下关系成立： 等号成立的条件是对于任意的 ，有 2.3.3 数据处理定理 2.3.3 数据处理定理 数据处理定理说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及丢失信息的输入端，就不能再恢复已丢失的信息，这就是信息不增性原理。 * *