限平均功率最大熵定理.ppt

Contents 2.4 连续信源的熵和互信息 2.4.1幅度连续的单个符号信源熵 2.4.1幅度连续的单个符号信源熵 (2) 连续信源熵的离散计算 (2) 连续信源熵的离散计算 当n→∞时，即Δx→0时，由积分定义得 用上述方法同样可定义两个变量X，Y的情况 联合熵： 例2.3.1有一信源概率密度如图所示，求连续熵  在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件 2.4.3 最大熵定理 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 限峰功率最大熵定理：对于定义域为有限的随机矢量X，当它是均匀分布时，具有最大熵。 限平均功率最大熵定理：对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 2.4.3 最大熵定理 当信源的概率密度符合正态分布时，其相对熵仅与随机变量的方差 有关，而方差在物理含义上往往表示信号的交流功率, (平均功率P=直流功率m2+交流功率 ) 在限制信号平均功率的条件下，正态分布的信源可输出最大相对熵 其值随平均功率的增加而增加。 连续信源在不同限制条件下最大熵是不同的，在无限制条件时，最大熵不存在。 如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。 2.5 冗余度 冗余度 它表示给定信源在实际发出消息时所包含的多余信息,也称冗余度或剩余度。 冗余度的来源 (1) 信源符号间的相关性： (2) 信源符号分布的不均匀性，当等概率分布时信源熵最大 信息效率 或 总结 信源的剩余度来自两个方面，一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小，另一方面是信源符号分布的不均匀性使信源的实际熵越小。 为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。 从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。 信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。 * * LOGO 2.4连续信源的熵和互信息 1 2.5冗余度 2 (1) 连续信源的描述 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度来描述。此时，连续信源的数学模型为： 其中，R是全实数集，是变量X的取值范围。 对这个连续变量，可以用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息度量可以用离散变量的信息度量来逼近。 抽样定理告诉我们，如果一个连续信号的频带限制在[0，W]Hz内，那么它可以用间隔为T=1/2W秒的抽样序列无失真地表示。 我们来求每个抽样点所包含的信息量，以与离散消息中每个符号所携带的信息量相对应；可以把连续消息看成是离散消息的极限情况 假设x∈[a,b]，令Δx=(b-a)/n, xi∈[a+(i-1)Δx，a+iΔx］，pX(x)为连续变量X的概率密度函数，则利用中值定理X位于第i个小区间的概率，即X取xi的概率是 2.4.1幅度连续的单个符号信源熵 上式中， xi是a+(i-1)Δx到a+iΔx之间的某一值。当PX(x)是x的连续函数时，由积分中值定理可知，必存在一个xi值使上式成立。则连续信源X可用取值为xi离散信源近似，其数学模型为 2.4.1幅度连续的单个符号信源熵 根据离散信源熵的定义，则 2.4.1幅度连续的单个符号信源熵 (2) 连续信源熵的离散计算 2.4.1幅度连续的单个符号信源熵 H(X) 定义连续信源熵: 连续信源的熵具有相对性，有时称为相对熵,在取两熵之间的差时才具有信息的所有特性. 2.4.1幅度连续的单个符号信源熵 (2) 连续信源熵的离散计算 条件熵 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息。 (3)联合熵和条件熵 2.4.1幅度连续的单个符号信源熵 Hc(XY)=Hc(X)+Hc