第2章离散信源及其信息测度.pptVIP

（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即当符号输出概率与时刻L无关，称为具有时齐性。即马尔可夫信源定义设信源所处状态为每一状态下可能输出的符号为状态集符号集第59页，共88页，星期日，2025年，2月5日（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。条件（2）表明，若信源处于某一状态，当它发出一个符号后，所处的状态就变了，一定转移到另一状态。状态的转移依赖于发出的信源符号，因此任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定。第60页，共88页，星期日，2025年，2月5日若信源处于某一状态ei，当它发出一个符号后，所处的状态就变了；任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定；因为条件概率p(xk/ei)已给定，所以状态的转移满足一定的概率分布，并可求出状态的一步转移概率p(ej/ei)。马尔可夫链的状态转移图：每个圆圈代表一种状态，状态之间的有向线代表某一状态向另一状态的转移。有向线一侧的符号和数字分别代表发出的符号和条件概率。结论第61页，共88页，星期日，2025年，2月5日例1：二阶马尔可夫信源，原始符号集为{1,0}，条件概率定为：P(0|00)=P(1|11)=0.8P(1|00)=P(0|11)=0.2P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5由此可见，信源共有22=4种状态：E：{e1=00,e2=01,e3=10,e4=11}状态之间有转移概率：p(e2/e1)=p(e3/e4)=0.2p(e4/e2)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5p(e1/e1)=p(e4/e4)=0.8举例第62页，共88页，星期日，2025年，2月5日性质7：极值性上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为最大离散熵定理。例：对于一个二元信源H(X)=H(1/2,1/2)=log2=1bit第三节信息熵的基本性质第27页，共88页，星期日，2025年，2月5日举例二进制信源是离散信源的一个特例。设该信源符号只有二个：0和1设符号输出的概率分别为p和1-p信源的概率空间为二进制信源的信息熵为这时信息熵H(X)是p的函数。p取值于[0,1]区间，我们可以画出熵函数H(p)的曲线。第28页，共88页，星期日，2025年，2月5日第29页，共88页，星期日，2025年，2月5日从图中可以得出熵函数的一些性质：如果二进制信源的输出是确定的(p=1或/p=1)，则该信源不提供任何信息；当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。第30页，共88页，星期日，2025年，2月5日上凸性的几何意义：在上凸函数的任两点之间画一条割线，函数总在割线的上方.严格上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。H[αP+(1-α)Q]＞αH(P)+(1-α)H(Q)性质8：上凸性第31页，共88页，星期日，2025年，2月5日图一维和二维凸集合的例子凸集合非凸集合从几何上来看，若α，β是集合R中的任意两点，θα+（1-θ）β表示这两点间的连线，若该连线也在集合R中，则称为R凸集。下面给出了几个凸集和非凸集合的例子。第32页，共88页，星期日，2025年，2月5日第四节离散无记忆的扩展信源实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统；这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，而且一般前后符号的出现是有统计依赖关系的。这种信源称为多符号离散信源。第33页，共88页，星期日，2025年，2月5日多符号离散信源可用随机