第11讲离散无记忆信源的渐近等同分割性.pptVIP

* 第二节、 离散无记忆信源的渐近等同分割性 3.2.1、大数定理 3.2.2、典型序列 3.2.1 大数定理 表示：样本均值集中在数学期望附近。 而远离数学期望的取值只有少数。 上式：称以概率收敛。 3.2.2 典型序列 1、离散无记忆信源X，随机序列：X=x1x2…xN… 取具体的消息序列（N次扩展序列）：U=u1u2…uN 由无记忆性： 进一步有： 结合大数定理有： 2、典型序列 定义： 为给定的离散无记忆信源X的输出长度为N的典型序列。 3、推论 证 明 证明略。 注意：推论1表示：信源典型序列的概率范围。 推论2表示：信源典型序列的个数范围。 典型序列介绍的目的： 信源发出序列绝大多数为典型序列，并且典型序列的个数为|TX|，如要对信源进行无失真编码，则只需要对信源的典型序列进行编码即可。 比如：对三个字母的英文单词进行编码，显然有些单词是不存在的，如aaa，aab，只需要对存在的单词进行编码即可，不如are，bee等，这样的单词我们就成为典型序列。 *