信息论与编码基础教程.pptVIP

【例2.4.1】有一信源概率密度如图所示，求连续熵 解: 由图(a)得 由图(b)得 结果信息量增加一倍，实际上两种情况的绝对熵应是相同的。显然结果不对。 第2章 信源及信源熵 2.4.1 连续信源熵 原因：由无穷大项造成的，两者在逼近时取值不 同，得到 不同 证明： 结论：连续熵具有相对意义，不是绝对值。 2.4.1 连续信源熵 同样，我们可定义两个变量X,Y情况的联合熵，条件熵。 联合熵： 条件熵: 2.4.1 连续信源熵 2.4.2连续熵的性质 1.连续熵可为负值 连续熵为负值是相对性连续熵所致，同时也说明香农熵在描述连续信源时还不是很完善。 2．可加性 与离散信源类似，连续信源也具有可加性。 2.4.2连续熵的性质 3．平均互信息的非负性 连续信源的无条件熵和条件熵之差为连续信源的平均互信息，用Ic(X;Y)表示，即 Ic(X;Y)=Hc(X)-Hc(X/Y) Ic(Y;X)=Hc(Y)-Hc(Y/X) 连续信源的平均互信息不仅在形式上与离散信源的平均互信息一样，在含义和性质上也相同。尽管连续信源的无条件熵不再具有非负性，但连续信源的平均互信息仍保留了非负性，即： I(Y；X)≥0 2.4.2连续熵的性质 2.4.3最大熵定理连续信源在无限制条件下无最大熵。 1．限峰功率最大熵定理 定理:对于定义域为有限的随机矢量X，当它是均 匀分布时，具有最大熵。 P(x) a b 图2-13信源输出信号概率密度 限峰功率最大熵 第2章 信源及信源熵 2.4.2连续熵的性质 定理:对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 2.限平均功率最大熵定理 Hc(X) nat/消息 高斯白噪声是正态分布 第2章 信源及信源熵 2.4.2连续熵的性质 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度). L 如果一个消息所包含的符号比表达这个消息所需要的符号多的话，那么这样的消息就存在冗余度。 Shannon?指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 2.5 冗余度2.5.1 冗余度定义 2.5 冗余度 2.5.1 冗余度定义 第2章 信源及信源熵 定义:冗余度 其中：H∞(X)--为信源实际熵； Hm(X)--信源最大熵。 若 称为信息效率。则 第2章 信源及信源熵 2.5.1 冗余度定义 2.5.2 冗余度来源 1．信源符号间的相关性 由公式H0(X)≥H1(X)≥H2(X)≥…H∞(X)知，信源输出符号间的依赖关系使得信源熵减小,这就是信源的相关性。相关程度越大,信源的实际熵越小,趋于极限熵H∞(X)，这时冗余度就越大。 2.5.2 冗余度来源 2．信源符号分布的不均性 等概分布时信源熵最大,而实际应用中大多是不均匀分布,使得实际熵减小。实际熵减小，冗余度增大。如是均匀分布,则 ，冗余度为零。 第2章 信源及信源熵 2.5.2 冗余度来源 【例2.5-1】一个输出A，B，C，D四个符号的信源,它输出10个符号的序列包含的最大可能的信息量为 Imax=10Hmax(X) 假定当信源由于符号间的相关性或不等概，信源的熵降到Hc=1.2比特/符号，则10个符号所携带的总信息量为 Ic=10×1.2=12（比特） 第2章 信源及信源熵 2.5.2 冗余度来源 相关性信源输出10个符号时，输出12比特的信息量,如果信源无相关性且等概，每个符号可输出2个比特，则12比特的信息量只需要输出6个符号的序列即可。 这就是说,有相关性和不等概的信源存在冗余,或者说，输出同样的信息量有冗余的信源输出的符号数要比无冗余的信源输出的符号数要多。 Imax=10Hmax(X) Ic=10×1.2=12（比特） 2.5.2 冗余度来源 【例2.5-2】以英文字母组成的信源为例，信源的输出是英文字母组合成的序列，英文字母共26个，加上空格共27个，见表2-5 。 最大信源熵 : Hm=㏒227=4.76(比特/符号) 只考虑英文字母出现的概率，不考虑字母之间的依赖关系，近似为无记忆信源熵，由表中概率得： 2.5.2 冗余度来源 表2-5 英文字母出现的概率 符号 概率pi 符