回顾上一讲内容数据处理定理如何描述当消息通过多级处.pptVIP

回顾上一讲内容 数据处理定理如何描述? 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 熵函数的代数性质: 1.非负性 2.对称性 H（x1，x2，…，xn）＝H（x2，x1，…，xn） ＝H（xn，x1，…，x2） ＝ … 3. 确定性 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} = 0 4. 香农辅助定理 5. 最大熵定理 H（X）= H(1/n,1/n,…,1/n) = logn 6. 条件熵小于无条件熵 连续信源熵(也叫相对熵)定义为: 峰值功率受限的最大相对熵定理 第四节 离散序列信源的熵 问题： 如何描述离散无记忆序列信源的序列熵？ 如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？ 2.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为X，X＝（X1 X2…Xl…XL），序列中的变量 即序列长为L。 设：随机序列的