第3章离散信源.pptVIP

3.4.4.3 极限熵 对无限记忆信源，记忆长度无限，此时的熵叫做极限熵 极限熵又叫做实际熵 即当前符号实际上能够带给我们的信息量。 3.5 离散平稳信源 如果信源输出各个符号的概率与时间无关，即 则称此信源为一维平稳信源。 如果信源输出长度为N的符号序列的概率与时间无关，即 则称此信源为N维平稳信源。 平稳信源的熵 平稳信源输出的长度为N的符号序列的联合熵为 长度为N的信源符号序列中平均每个符号所携带的信息量为平均符号熵，即 设信源符号序列之间的记忆长度为N，若已知前面N?1个符号，则第N个符号所携带的平均信息量为条件熵，即 性质 1. 性质1的含义是：我们知道的条件越多，越容易判断事件的结果 2. 3. 4. 性质2、3、4说明，当平稳信源输出的符号序列长度达到无限大时，平均符号熵HN(X)和条件熵H(XN | X1X2…XN?1)都非递增地收敛于平稳信源的极限熵。 3.6 信源的相关性和剩余度相关性 H(XN|X1,…, XN-1)≤H(XN-1|X1,…, XN-2) ≤H(XN-2|X1,…, XN-3)≤…≤H(X2|X1)≤H(X1) 输出符号等概率分布时，熵最大，记H0=log q。 因此：H0≥H1≥H2≥H3≥H4≥…，这就是信源的相关性。 含义：由于信源符号间存在依赖关系，信源输出的符号越多，越容易判断将要输出的符号是什么，即信源熵（不确定性）