信息论与编码-第2章离散信源的熵.ppt

①条件概率表示的m阶马尔科夫信源/不完整表示 5、m阶马尔科夫链 引入状态S ②状态表示的m阶马尔科夫信源 ③状态转移图描述的m阶马尔科夫链 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 转移概率表示的m阶马尔科夫信源←→状态表示的m阶马尔科夫信源←→状态转移图描述的m阶马尔科夫链 例1 状态表示的二阶马尔科夫信源 状态转移图描述的二阶马尔科夫链 s1 s2 s3 s4 0.2 0.8 0.5 0.5 设状态s1=00、s2=01、s3=10、s4=11 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 6、 m阶马尔科夫链的遍历定理 ①遍历——从任何一个状态出发，可以通过有限步到达任何其他状态 非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 1 ②遍历定理 7、m阶马尔科夫链的极限熵 例2 二进制二阶马尔科夫链的极限熵 00 01 10 11 0.6 0.4 0.6 0.4 0.6 0.4 0.6 0.4 遍历定理——设s1=00、s2=01、s3=10、s4=11 s1 s2 s3 s4 0.6 0.4 0.6 0.4 0.6 0.4 0.6 0.4 极限熵 s1 s2 s3 s4 0.6 0.4 0.6 0.4 0.6 0.4 0.6 0.4 习题：(P69-70)2.16、2.17(1)(2) 例2 信源的熵 4、熵的界 5、多符号离散信源的熵率 信源发出消息中每一个符号所含的平均信息，用Hn(X1X2…Xn)表示 定义 单位一般为bit/symbol 例3 信源的熵率 2.3 n次扩展信源的熵与熵率 1、n维离散平稳信源 定义 多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率均相同 多符号离散信源通常抽象为n维离散平稳信源 n维离散平稳信源与时间起点无关——一般记为从1开始 定义 n维离散平稳信源发出的消息中各符号相互独立 2、n维离散平稳无记忆信源与n次扩展信源 Nn n维离散平稳无记忆信源形式上相当于单符号离散信源的n次扩展(重复)——n次扩展信源 3、n次扩展信源的熵 ①信源发出消息所含的自信息 ②信源的熵 4、n次扩展信源的熵率 例1 二次扩展信源的熵与熵率 习题：(P68-69)2.10、2.13 2.4 m阶马尔科夫信源的熵与极限熵 1、m阶马尔科夫信源 定义 n维离散平稳信源发出的消息中第n个符号只与前m(n-1)个符号相关 n维离散平稳有限记忆信源，记忆长度为m Nn m m m 2、m阶马尔科夫信源的熵 m+1 n-m-1 ①信源发出消息所含的自信息 ②信源的熵 m+1 n-m-1 m+1 m+1 n-m-1 m n-m-1 3、m阶马尔科夫信源的熵率 m 4、m阶马尔科夫信源的极限熵 n→∞时m阶马尔科夫信源的熵率，用H∞表示 定义 第2章 离散信源的熵 第2章 离散信源的熵 教学内容和要求 掌握单符号离散信源的熵 理解多符号离散信源的熵与熵率 掌握n次扩展信源的熵与熵率 掌握m阶马尔科夫信源的熵与极限熵 2.1 单符号离散信源的熵 单符号离散信源——信源发出的消息为单一符号，这些符号随机取值于一个N元集合 1、单符号离散信源及其模型 定义 信源的模型——离散型随机变量X 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 例1 2、单符号离散信源的熵 信源发出消息所含的自信息——消息xi所对应概率P(xi)对数的负值，用I(xi)表示 定义 ①信源发出消息所含的自信息 单位由对数的底a决定——当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley) 以bit为单位的自信息 I(xi)与xi的概率P(xi)相关 I(xi)是P(xi)的连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 例2 信源发出各消息所含的自信息 ②信源的熵（无条件熵） 信源的熵——信源发出各消息所含自信息的数学期望，用H(X)表示 定义 反映信源每发出一条消息所含的平均信息 一般不等于信源发出某条特定消息所含的信息——自信息 例3 信源的熵 3、熵的主要性质和最大熵定理 ①非负 熵H(X)对于信源概率P(X)严格上凸 ②严格上凸 严格上凸的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 f(x)对于x严格上凸 ③最大熵定理 等概率信源具有最大熵，其最大熵H(X)max=logN 例4 信源的熵及p-H(p)曲线 当p=0时，H(p)=0 p=0.25时，H(p)=0.811(bit) p=0.75时，