第2章 信源及信息熵.pptVIP

例2 二阶马尔科夫信源的极限熵 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 遍历定理 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 习题：(P69-70)2.13、2.16、2.17(1)(2) 极限熵 五、单符号连续信源及相对熵 1、单符号连续信源 定义 信源发出的消息为单一符号，而这些符号随机地取值于一个连续域 表示 连续型随机变量X 信息熵的链接准则 信息熵的界 例3 信源的信息熵 4、熵率 信源每发出一个消息符号所提供的平均信息量，也叫平均符号熵，用HN(X1X2…XN)表示 定义 表示 单位一般为bit/symbol 例4 信源的熵率 定义 多符号离散信源对任意两个不同时间起点k和l，其概率分布及直到N维的各维联合概率分布都相同 1、N维离散平稳信源 取l=1，N维离散平稳信源 三、N次扩展信源及信息熵 2、 N维离散平稳信源的信息熵 3、 N维离散平稳信源的熵率 4、 N维离散平稳信源的极限熵 N→∞时的熵率（平均符号熵），用H∞表示 定义 5、极限熵定理 N→∞时，N维离散平稳信源熵率的极限存在且等于N阶条件熵的极限值 定义 N维离散平稳信源的符号序列中各符号相互独立 6、N维离散平稳无记忆信源与N次扩展信源 表示 N维离散平稳无记忆信源形式上相当于单符号离散信源的N次扩展信源 7、N次扩展信源的信息熵 例1 二次扩展信源及信息熵 ①二次扩展信源 ②二次扩展信源的信息熵 8、N次扩展信源的熵率和极限熵 例2 二次扩展信源的熵率 1、m阶马尔科夫信源 定义 N维离散平稳信源符号序列中第N个符号只与前m (N-1)个符号相关 离散平稳有限记忆信源，记忆长度为m 四、m阶马尔科夫信源及信息熵 表示 2、m阶马尔科夫信源的信息熵 3、m阶马尔科夫信源的熵率 状态表示的m阶马尔科夫信源 引入状态S 4、m阶马尔科夫链 状态表示的m阶马尔科夫信源←→状态转移图描述的m阶马尔科夫链 例1 状态转移图 s1 s2 s3 s4 0.2 0.8 0.5 0.5 设状态s1=00、s2=01、s3=10、s4=11 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 5、遍历定理 遍历——从任何一个状态出发，可以通过有限步到达任何其他状态 非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 1 遍历定理 6、m阶马尔科夫信源的极限熵 * 信源及信息熵 * 第2章 信源及信息熵 教学内容和要求 掌握单符号离散信源及信息熵，理解其性质 了解多符号离散信源 掌握N次扩展信源及信息熵 掌握m阶马尔科夫信源及信息熵 掌握单符号连续信源及信息熵，理解其性质 了解多符号连续信源 一、单符号离散信源及信息熵 信源发出的消息为单一符号，而这些符号随机地取值于一个有限集合 1、单符号离散信源 定义 表示 离散型随机变量X 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 例1 例2 2、自信息量 消息xi的概率P(xi)对数的负值，也叫无条件自信息量，用I(xi)表示 定义 表示 单位由对数的底a决定——当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley) 以bit为单位的自信息量 I(xi)与xi的概率P(xi)相关 I(xi)是P(xi)的减函数，且当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 I(xi)是P(xi)的连续函数 例3 信源发出各消息的自信息量 3、信息熵 信源各消息自信息量的数学期望，也叫无条件熵，用H(X)表示 定义 表示 单位一般为bit或bit/symbol H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量 一般情况下，H(X)不等于每接受一条消息所获得的平均信息量 4、信息熵的主要性质和最大熵定理 ①非负性 ②严格上凸性 严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 称函数f(x)为严格上凸函数 ③最大熵定理 等概率信源具有最大熵，最大熵H(X)max=logn 例4 信源的信息熵 例5 信源的信息熵 例6 信源的信息熵及p-H(p)曲线 当p=0时，H(p)=0 p=0.25时，H(p)=0.811(bit) p=0.75时，H(p)=0.811(bit) p=1时，H(p)=0 p=0. 5时，H(p)=1(bit) 0 0.5 1 H(p) 1 p 0.25 0.75 0.811 习题，(P68)2.5、2.6 二、多符号离散信源及信息