第3章 渐近均分性与香农第一定理解说.ppt

第3章 渐近均分性与香农第一定理 第3章 渐近均分性与香农第一定理 3.1 n次扩展信源 1、n维离散平稳信源 多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率均相同 多符号离散信源通常抽象为n维离散平稳信源 n维离散平稳信源与时间起点无关——一般记为从1开始 2、n维离散平稳无记忆信源（n次扩展信源）及其模型 n维离散平稳信源发出的消息中各符号相互独立 Nn n维离散平稳无记忆信源——独立同分布，形式上相当于单符号离散信源的n次扩展（重复）——n次扩展信源 3、n次扩展信源的熵 ①联合自信息 ②联合熵 4、n次扩展信源的熵率 求二次扩展信源的熵与熵率 3.2 渐近均分性定理 1、n次扩展信源的渐进均分性 取ε=0.01，求三次和四次扩展信源各消息的概率之和不小于0.99的分布特点 三次扩展信源各消息的概率 概率之和不小于0.99的分布特点 四次扩展信源各消息的概率 概率之和不小于0.99的分布特点 n次扩展信源的符号序列分为两组，n越大，其中一组的概率之和越接近1，概率相差越小——渐进均分性 2、渐进均分性定理 任意给定ε 0，当n足够大，n次扩展信源的典型序列满足 不满足该式的符号序列——非典型序列 当n足够大 由大数定理 3.3 香农第一定理 信源的熵为H(X)，对n次扩展信源进行二进制信源编码，对任意给定的ε 0，只要码率R≥H(X) +ε，当n足够