信息论与编码第2章(3).pptVIP

离散平稳信源 ? 对于离散 平稳 信源 , 有下列 结论 ： ⑴ 条件熵 H ( X L | X L-1 ) 随 L 的增加 是非递增 的 ? 条件较多的熵必小于或等于条件较少的熵， 而 条件 熵必小于或等于无条件熵 。 H ( X L | X 1 X 2 ? X L ? 1 ) ? H ( X L | X 2 ? X L ? 1 ) ? H ( X L ? 1 | X 1 ? X L ? 2 ) ? H ( X L ? 1 | X 2 ? X L ? 2 ) ? H ( X L ? 2 | X 1 ? X L ? 3 ) ? ? H ( X 2 | X 1 ) ? H ( X 1 ) 2020/5/7 31 ⑵ L 给定时 , 平均符号熵 ≥ 条件熵： H L ( X )≥ H ( X L | X L- 1 ) ⑶ H L ( X ) 是 L 的单调非增函数 H 两个符号组成的序 L ( X )≤ H L-1 ( X ) 列平均符号熵 等概率无记忆信 ⑷ H ? ( X ) ? lim H L ( X ) ? lim L ? ? H ( X L | X 1 X 2 ? X L ? 1 ) 源单个符号的熵 L ? ? ? H ∞ 称为平稳信源的 极限熵 或 极限信息量 H 0 ( X )≥ H 1 ( X )≥ H 2 ( X )≥…≥ H ∞ ( X ) 不等概率无记忆信 源单