《信息论》(电子科大)第2章 离散信源及离散熵.pptVIP

* * 式中，H(X2/X1 )称为条件熵，是条件信息量在联合概率上的数学期望。 * 与此相对应，将该信源的离散熵H(X1X2)称为联合熵，信源符号的离散熵H(X1)、 H(X2)称为无条件熵。 * * 如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，则 * x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 xi2 xi1 例1，已知二维离散平稳信源的符号 ，其概率分布 ，其条件概率 分布P(X2/X1) * 求该信源的联合熵和平均符号熵。 * * 将二维的情况推广到N维，可得到N维离散平稳信源的离散熵： * 当N→∞时，平均符号熵取极限值，称之为极限熵， 用H∞表示，即 可以证明，极限熵H∞存在且 * N维离散平稳信源的联合熵、平均符号熵和极限熵的计算都比较困难。 3、离散平稳无记忆信源的离散熵 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。 由N维离散平稳信源的数学模型： * 离散平稳无记忆信源的符号序列中各符号相互独立，故 * 相当于一维离散平稳信源扩展N次，因此也称其为N次扩展信源。 从而N维离散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型： * 该信源的离散熵： * * 该信源的平均符号熵： 该信源的极限熵： * 例2，已知信源 求该信源二次扩展信源的联合熵和平均符号熵。 * 4、马尔科夫(Markov)信源的离散熵 如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关，则称该信源为m阶马尔科夫信源。 马尔科夫信源是离散平稳有限记忆信源， m是马尔科夫信源的记忆长度。 * 因此，可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列。 除联合概率外，条件概率也可以反映记忆特征，m阶马尔科夫信源的数学模型： * 为了方便描述马尔科夫信源，引入状态序列 * 故m阶马尔科夫信源的数学模型也可用状态来描述： * 该数学模型一般用状态转移图来表示。 * 例3，已知二元二阶马尔科夫信源 作出其状态转移图。 解：设状态e1=00、e2=01、e3=10、e4=11 * e1 e2 e3 e4 0.2 0.8 0.5 0.5 * e1 e2 e3 e4 0.2 0.2 0.8 0.8 0.5 0.5 0.5 0.5 * 由于m阶马尔科夫信源发出的符号序列的有效长度为m+1，因此其极限熵： * 为了强调m阶马尔科夫信源的长度特征，一般将其极限熵H∞记为Hm+1，即 * 由于p(ej/ei)是马尔科夫信源的数学模型给定的，因此极限熵计算的关键在于p(ei)的求取。 根据马尔科夫链的各态历经定理，有 从而解决p(ei)的求取问题。 * 例4，已知二元二阶马尔科夫信源的状态转移图 e1 e2 e3 e4 0.2 0.2 0.8 0.8 0.5 0.5 0.5 0.5 求该信源的极限熵。 解：根据各态历经定理 * * 整理得 解方程组，得 * 习题： 2.4、2.9、2.10 电子科技大学 * 第2章 离散信源及离散熵 信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。 对于通信系统或其他信息传输系统，消息是由称为信源的人、机器或事物所提供的。 信源所提供的消息是多种多样的：如计算机网络节点输出的是二进制数据，模拟电视输出的是连续视频图像和伴音； * 又如抽牌，可以抽出后放回去再抽，也可以抽出后不放回去再抽。 信源的分类方法很多，但从本质上考虑，一方面可以将信源分为离散信源(discrete source)和连续信源(continuous source)，另一方面可以将信源分为无记忆信源(memoryless source)和有记忆信源(memory source)。 本章主要讨论的问题是： * ②从离散信源的整体出发，它的信息量又应该如何度量？ ①离散信源所发出的一条消息，它包含着多大的信息量？ * 一、自信息量(self-information) 为给出定量度量信息的方法，先讨论最简单的信源： 如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。 1、单符号离散信源 单符号离散信源的例子有掷骰子、简单的天气气象等。 * 由于这些符号的取值往往具有一定的概率分布，故可以将这些符号看作是随机事件。 因此，单符号离散信源的数学模型： * 这样，掷骰子这一单符号离散信源可表示为： 而某一天简单的天气气象这一单符号离散信源则可表示为： * 假设一个单符号离散信源，其输出被传递给信宿；如设P(x1)最大、P(xn)最小，问题是，输出那条消息包含更多的信息， 是x1还是xn ？ 2、自信息量 根据香农信息的概念，消息中所包含的不确定性的成分才是