北邮信息论课件-第4章 连续信息与连续信源.pptVIP

*/57 例4.2.2（续） 将变换改为 ， ，试求 解 此时 到 的变换是正交变换，变换后熵不变，所以 */57 主要内容 1、限峰值最大熵定理 2、限功率最大熵定理 3、熵功率和剩余度 §4.3 连续最大熵定理 */57 对于离散信源，当信源符号等概率分布时信源的熵取最大值。对于连续信源，差熵也可以通过改变信源的概率密度求最大值，但情况有所不同： 除一般情况下对概率密度的非负 和归一化 的约束条件之外，还必须附加其他的约束条件。这些附加约束通常是对随机变量矩的约束，最重要的约束是对信源输出的峰值约束和功率约束，即在一阶矩和二阶矩的约束条件下求 的极值问题 */57 4.3.1 限峰值最大熵定理 若信源输出信号的峰值功率受限为P ，即信源输出信号的瞬时电压限定在 ，等价于信源输出连续随机变量X的取值幅度受限于 内取值，即在约束 下，求信源熵的极值。 —— 峰值功率受限等价于将信源输出的幅度限制在一个有限区间内。 */57 定理4.3.1 幅度受限的随机变量，当均匀分布时有最大的熵。 该定理的详细描述如下： 当N维随机矢量 具有概率密度 ，分布区间为（a1，b1），（a2，b2）， …（aN，bN）时，其熵满足 证明：设X是分布区间为（a1，b1），（a2，b2），…（aN，bN）的均匀分布，概率密度为： */57 证明续： 计算-log , （xi∈（ai，bi）, i=1,…,N ）, 根据定理4.1.2，有 所以： 即：仅当p(x)等于q(x)时，等式成立，此时的熵就是均匀分布的信源的熵。 */57 4.3.2 限功率最大熵定理 若信源输出信号的平均功率受限，对于均值为0的一维信源来说，就是其方差 受限。对于均值不为零的N维信源 的情况，就是在其协方差矩阵 受限的约束条件下，求信源熵的极值。 —— 一维随机变量的功率就是它的方差，功率受限即为方差一定；对于多维随机变量，功率受限即为协方差矩阵一定。 */57 定理4.3.2 功率受限的随机变量，当高斯分布时有最大的熵。 该定理可详细描述如下：设N 维信源 的概率密度为 ，协方差矩阵为 ，且 ，其中： t 为 的均值矢量，那末 的熵满足 仅当x为高斯分布时等式成立。 证明： 设 为 (4.2.5)式所规定的N维高斯概率密度，其协方差矩阵也为 ，根据定理4.1.2有 */57 证明续 所以 上面利用了两概率分布具有相同的自协方差矩阵的条件，其 中 ，类似于(4.2.6)式的推导，可得到(4.3.1)式， 仅当 为高斯分布时等式成立。证毕。 */57 4.3.3 熵功率和剩余度 定义差熵为h(X)的连续随机变量集合X的熵功率为 从而有 可见，连续信源的熵功率就是具有相同差熵的高斯信源的平均功率。 设X的实际功率为 。根据限功率最大熵定理，具有相同功率时，高斯分布的熵最大，因此有 再根据(4.2.10)，得，即 ，任何一个信源的熵功率不大于其实际平均功率（方差）。 */57 信源剩余 熵功率的大小可以表示连续信源剩余的大小。 如果熵功率等于信号的平均功率，就表示信号没有剩余。 熵功率和信号的平均功率相差越大，说明信号的剩余越大。 所以信号平均功率和熵功率之差被称为连续信源的剩余度。 只有高斯分布的信源的熵功率等于其实际平均功率，剩余度为零。 */57 定理4.3.3 熵功率不等式 如果X和Y都是方差有限的连续随机变量，则 仅当X和Y均为独立高斯随机变量时等式成立。 （证明略） 上式说明，两随机变量集合的熵功率的和不大于两随机变量和的熵功率，除非两者都是高斯随机变量。 熵功率定义： */57 主要内容 1、连续随机变量集的平均互信息 2、连续随机变量集平均互信息的性质 §4.4 连续随机变量集的平均互信息 */57 4.4.1 连续