信息论与编码ch10-总复习.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 连续信源的熵为 上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。 三种限定条件下连续信源的最大熵定理 第二章 信源熵 * * 连续信源熵有关问题说明 连续信源熵并不是实际信源输出的绝对熵； 连续信源的绝对熵还有一项正的无限大量，虽然 log2(b－a) 小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大； Hc(X) 已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。 连续信源熵的意义 这种定义可以与离散信源在形式上统一起来； 在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征； 连续信源的熵 Hc(X) 具有相对性，因此 Hc(X) 也称为相对熵。 第二章 信源熵 * * 信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 第三章 信道容量 * * 求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 第三章 信道容量 * * 当 n=2 时的强对称离散信道就是二进制均匀信道。 二进制均匀信道 的信道容量为： 二进制均匀信道容量 曲线如图3.2.5所示。 第三章 信道容量 * * 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 第三章 信道容量 * * 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 第三章 信道容量 * * 失真度 设离散无记忆信源为 第四章 信息率失真函数 * * 对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m 称 d(xi,yj) 为单个符号的失真度/失真函数。表示信源发出一个符号 xi，在接收端再现 yj 所引起的误差或失真。 第四章 信息率失真函数 * * 平均失真度定义 d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望， 第四章 信息率失真函数 * * 平均失真度意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)，p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。 第四章 信息率失真函数 * * 允许平均失真度：率失真函数中的自变量 D，也就是人们规定的平均失真度 的上限值。 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度 D 的最小和最大值问题。 D 的选取必须根据固定信