《信息论》第二章.pptVIP

则 连续信源的熵计算 连续信源的信息熵 连续信源的条件熵与联合熵 连续信源的互信息 连续信源的互信息 连续信源的互信息 连续信源的平均互信息 连续信源的I X;Y ：取值有限；为非负值。 例:设有二维高斯概率密度函数 —— 连续随机变量 X、Y 的均值 —— 连续随机变量 X、Y 的方差 —— 相关系数（归一化协方差） 求 I X;Y 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的相对熵、平均互信息的性质 定理2.8（峰值受限） 若随机变量X的取值被限定在区间[a,b]，则X的相对熵 当且仅当X服从均匀分布时具有最大的相对熵。 （离散情形：等概） 证明：设随机变量X概率密度函数为q x ，有 又设均匀分布时概率密度函数为p x ,有 且 则需证 连续信源的最大相对熵 定理2.10（平均功率受限） 若给定连续型随机变量X的方差为，则X的相对熵 当且仅当X服从服从Gaussian分布时等号成立。 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的最大相对熵 连续信源的熵功率 例：有一个连续信源，它发出的随机连续消息的概率密度函数 p（x） 1/2 ，1 ≤ x ≤ 3v ，求该信源消息的平均功率和熵功率。 熵功率物理意义：具有熵值 Hc X 的高斯随机变量的功率。 连续信源的熵功率 第二章 小结 两个概念 自信息与互信息 两种信源 离散信源与连续信源 * * * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 I X;Y 与信息熵的关系 I X ; Y 0 H X H Y H XY 集合X与集合Y 相互独立的情况 I X;Y 与信息熵的关系 H XY H X|Y H Y|X H X H Y H X|Y —— 含糊度或损失熵 H Y|X —— 散布度或噪声熵 I X;Y 与信息熵的关系 H X H Y I X ; Y H XY 集合X与集合Y 完全相关的情况 I X;Y 与信息熵的关系 H X|Y I X;Y 的凸函数性 I X;Y 的凸函数性 I X;Y 的凸函数性 当 p y|x 给定时，I X;Y f [p x ] 是上凸函数。 当 p x 给定时，I X;Y f [p y|x ] 是下凸函数。 C — 信道容量 R D —率失真函数 小结 互信息量 —— 信息论中的另一个基本概念（差值） —— 对两个随机变量之间统计依存性的信息度量 —— 用来描述信道特性和信源的压缩特性 信息熵 —— 信息论中的最基础的基本概念 —— 对随机变量不确定性的最好的度量 —— 用来描述信源的信息特性 信息不增性原理 定理2.4 信道Ⅰ p y|x 信道Ⅱ p z|xy X Y Z 当且仅当p z|xy p z|y 时，等号成立。 信息不增性原理 定理2.5 信道Ⅰ p y|x 信道Ⅱ p z|y X Y Z 当且仅当Y和Z是一一对应关系时，等号成立。 平稳离散信源 1 平稳离散信源的概念 2 平稳离散信源的熵 3 信源的冗余度与信息速率 信源的符号序列统计特性与时间的起点无关 平稳离散信源的熵 随机矢量的熵（联合熵） 极限熵（熵率） 平均符号熵 定理2.6 设 证明：极限的存在性 为单调有界序列。 有记忆平稳离散信源的熵 我们有 则 又 得 定理说明： 随机变量之间的依赖性在某种程度上降低了信源的不确定性，即使信源（符号）携带的信息量减少。 当考虑依赖关系无限长时，平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。 无记忆平稳离散信源的熵 无记忆平稳离散信源：信源输出为平稳独立的随机序列 又各分量分布相同 无记忆平稳离散信源的熵 无记忆平稳离散信源的熵 随机矢量的熵（联合熵） 极限熵 平均符号熵 信源的冗余度与信息速率 对于离散平稳信源 理论上：实际的熵为 —— 即信源所能输 出的信息量——需要传递 的手段。 实际上：因信源的统计特性了解不全——只能算出 作为信源信息量——需要传递 的手段。 分析： 造成传递手段上又富余——输出效率不高，不经济 效率 冗余度 相对冗余度 例：自然语言信源的冗余度 英文26个字母＋标点与间隔符号＝27，则 信源字母携带的最大信息量 log27 4.76 bit/符号 基于字母、间隔出现的概率统计 H1＝