信息论导论-第2章.pptVIP

信息论导论-第2章，武刚 * 三、多符号离散信源及其信息熵 1、离散平稳信源及其数学模型 2、离散平稳信源的信息熵 3、离散平稳无记忆信源的信息熵 信息论导论-第2章，武刚 * 3、离散平稳无记忆信源的信息熵 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。 由N维离散平稳信源的数学模型： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 离散平稳无记忆信源的符号序列中各符号相互独立，故 三、多符号离散信源及其信息熵 相当于一维离散平稳信源扩展N次，因此也称其为N次扩展信源。 信息论导论-第2章，武刚 * 从而N维离散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 该信源的信息熵： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 该信源的平均符号熵： 该信源的极限熵： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 例2，已知信源 求该信源二次扩展信源的联合熵和平均符号熵。 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 4、马尔科夫(Markov)信源及其极限熵 如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关，则称该信源为m阶马尔科夫信源。 马尔科夫信源是离散平稳有限记忆信源， m是马尔科夫信源的记忆长度。 三、多符号离散信源及其信息熵 因此，可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列。 信息论导论-第2章，武刚 * 与联合概率一样，条件概率也可以反映记忆特征，m阶马尔科夫信源的数学模型： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 为了方便描述马尔科夫信源，引入状态序列 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 故m阶马尔科夫信源的数学模型可用状态来描述： 三、多符号离散信源及其信息熵 该数学模型一般用状态转移图来表示。 信息论导论-第2章，武刚 * 例3，已知二元二阶马尔科夫信源 作出其状态转移图。 解：设状态e1=00、e2=01、e3=10、e4=11 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * e1 e2 e3 e4 0.2 0.8 0.5 0.5 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * e3 e4 0.2 0.8 0.5 0.5 三、多符号离散信源及其信息熵 e1 e2 e3 e4 0.2 0.8 0.5 0.5 信息论导论-第2章，武刚 * 由于m阶马尔科夫信源发出的符号序列的有效长度为m+1，因此其极限熵： 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 为了强调m阶马尔科夫信源的长度特征，一般将其极限熵H∞记为Hm+1，即 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 由于P(ej/ei)是马尔科夫信源的数学模型给定的，因此极限熵计算的关键在于P(ei)的求取。 根据马尔科夫链的各态历经定理，有 可以解决P(ei)的求取问题。 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 例4，已知二元二阶马尔科夫信源的状态转移图 求该信源的极限熵。 解：根据各态历经定理 三、多符号离散信源及其信息熵 e1 e3 e4 e2 0.2 0.2 0.8 0.8 0.5 0.5 0.5 0.5 信息论导论-第2章，武刚 * e1 e3 e4 e2 0.2 0.2 0.8 0.8 0.5 0.5 0.5 0.5 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 整理得 三、多符号离散信源及其信息熵 e1 e3 e4 e2 0.2 0.2 0.8 0.8 0.5 0.5 0.5 0.5 信息论导论-第2章，武刚 * 解方程组，得 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 习题： 2.4、2.9、2.10 三、多符号离散信源及其信息熵 * * Let’s 信息论导论-第2章，武刚 * 本章内容提纲 一、自信息量 二、单符号离散信源的信息熵 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 * 二、单符号离散信源的信息熵 自信息量：一个单符号离散信源发出各种消息所包含的信息量, 问题：从该信源的整体出发，它的信息量又应该如何度量？ 1、单符号离散信源的信息熵 如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为： 信息论导论-第2章，武刚 * 二、单符号离散信源的信息熵 信息熵的单位是比特/符号(bit/symbol)。 信息熵是从整体出发对一个离散信源信息量的度量。 2、信息熵的性质和定理