信息论与编码201213498new.pptVIP

* * 信息论与编码基础 离散信源 对于一般离散平稳信源， 有如下性质： 1）条件熵 随N的增加是非递增的，即 证明 H XN|X1X2…XN-1 ≤H XN|X2…XN-1 H XN-1|X1…XN-2 平稳性 ≤H XN-1|X2…XN-2 H XN-2|X1…XN-3 ≤H X2|X1 ≤H X1 信息论与编码基础 离散信源 2）N给定时，平均符号熵大于等于条件熵，即： 证明 由于 HN X H X1X2…XN /N [H X1 + H X2|X1 +… + H XN|X1X2…XN-1 ]/N 熵的强可加性 ≥ NH XN|X1X2…XN-1 /N H XN|X1X2…XN-1 3）平均符号熵随N的增加而非递增，即： 信息论与编码基础 离散信源 证明 由于 HN X H X1X2…XN /N [H X1X2…XN-1 + Ｈ XN|X1X2…XN-1 ]/N [ N-1 HN-1 X + Ｈ XN|X1X2…XN-1 ]/N 可得 HN X ≤ [ N-1 HN-1 X + ＨN X ]/N HN X ≤ HN-1 X 考虑的相关性越多，平均不确定性越小 信息论与编码基础 离散信源 4） 存在，并且： 极限熵 证明 由于 HN X ≤ HN-1 X 有 0≤ HN X ≤ HN-1 X …≤H1 X ∞ 存在性 现另设一正整数k, 有 HN+k X [H X1X2…XN-1 + Ｈ XN|X1X2…XN-1 +… + H XN+k|X1X2…XN+k-1 ]/ N+k ≤ [H X1X2…XN-1 + k+1 Ｈ XN|X1X2…XN-1 ]/ N+k 当k趋于∞,N固定时， 有 H∞ X ≤ Ｈ XN|X1X2…XN-1 H∞ X ≤ Ｈ XN|X1X2…XN-1 ≤HN X 当N趋于∞，即证 极限熵 H X /矢量熵 H X1X2…XN-1XN /联合熵表示平均发一个消息（由N个符号组成）提供的信息量。 平均符号熵：信源平均每发一个符号提供的信息量为 极限熵：当N→∞时，平均符号熵取极限值称之为极限熵或极限信息量。用H∞表示，即 信息论与编码基础 离散信源 极限熵的存在性：当离散有记忆信源是平稳信源时，从数学上可以证明，极限熵是存在的，且等于关联长度N→∞时，条件熵H XN/X1X2…XN-1 的极限值，即 信息论与编码基础 离散信源 极限熵的含义：代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。 多符号离散平稳信源实际上就是原始信源在不断地发出符号，符号之间的统计关联关系也并不仅限于长度N之内，而是伸向无穷远。所以要研究实际信源，必须求出极限熵H∞，才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量。 极限熵的计算：必须测定信源的无穷阶联合概率和条件概率分布，这是相当困难的。有时为了简化分析，往往用条件熵或平均符号熵作为极限熵的近似值。在有些情况下，即使N值并不大，这些熵值也很接近H∞，例如马尔可夫信源。 信息论与编码基础 离散信源 课堂练习 设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P 0 0.4，P 1 0.6的概率发出符号。 1 试问这个信源是否是平稳的？ 2 试计算 3 试计算 H X4 并写出X4信源中可能有的所有符号。 信息论与编码基础 离散信源 解答： 1 信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的，因此该信源是平稳的，而且是离散无记忆信源。 2 信息论与编码基础 离散信源 3 信息论与编码基础 离散信源 信息论与编码基础 离散信源 相关系数度量 设X1与X2是同分布，但不一定独立。设 1）证明 2）何时 3）何时 思考题 信息论与编码基础 离散信源 一、信源的数学模型及分类 二、离散信源的信息熵及其性质 三、离散无记忆的扩展信源 四、离散平稳信源 五、信源的剩余度 定义 设某q元信源的极限熵 （实际熵），则定义： 为它的信源剩余度。 信息论与编码基础 离散信源 信源剩余度 例1 英文源 信息论与编码基础 离散信源 H0 log27 4.76 bit/sig IN NO TH HE ER AN RE ED ON ES ST EN AT TO NT HA ND OU EA NG AS… THE ING AND HER ERE THA NTH FOR DTH HAT SHE ION INT HIS STH ERS VER ENT H3 3.1 bit/sig … H∞ 1.4 bit/sig 例2 中文源 二、数据压缩的基本途径—结论1 信息论与编码基础 离散信源 数据