信息论第2章 信源及信源熵12.ppt

解答4 马尔可夫信源熵 习题2.24 黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P（黑）=0.3，白色出现的概率P（白）=0.7。假设图上黑白消息出现前后没有关联，求熵H（X）；假设消息出现前后有关联，其依赖关系为P（白︳白）=0.9，P（黑︳白）=0.1 P（白︳黑）=0.2， P（黑︳黑）=0.8，求此一阶马尔可夫信源的熵H2；分别求上述两种信源的剩余度，并比较H（X）和H2的大小，并说明其物理意义。 解答（1）H(X) ≈0.881比特/符号 （2）根据给出的依赖关系画出状态转移图，列出方程组求出状态极限概率，带入公式求出信息熵 续 一阶马尔可夫信源的熵为： 现计算得到的状态的极限概率的值不完全等于题中原先给出的概率了。所以计算马尔可夫信源的熵时不能用P(黑)和P(白)计算。如题目最初的P(黑)=1/3P(白)=2/3，则此信源为二维平稳信源。 续 （3）黑白消息给出的剩余度 由前面计算所得可知： 结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性减弱。 信息熵正是反映信源的平均不确定性的大小。 信源剩余度反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。 2.9 连续信源和波形信源 连续信源的定义 用连续随机变量描述输出消息的信源称为连续信源。连续信源就是指其输出在时间上和取值上都是连续的信源。 基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 一、连续信源的熵Hc(X) 1、连续信源熵的定义 基本连续信源的数学模型为： 其中R是全体实数集，是连续变量x的取值范围。 P(x)是概率密度函数。 X P ＝ R P(x) 根据离散化原则，连续变量X可量化分层后用离散变量描述，来近似地逼近连续变量，即认为连续变量是离散变量的特殊情况。 量化单位越小，所得的离散变量和连续变量就越接近，连续信源就能看成离散信源。连续变量的信息测度就可以用离散变量的信息测度来逼近。 见图4.2（课本142页） 若把连续的区间[a, b]分割成n个等宽的小区间，每个区间的宽度为 则第i个区间的概率为 连续变量X可以用取值为xi(i=1,2…n)的离散变量Xn来近似，即：Xn：{x1, x2, … ,xn} →X（连续）。这样连续信源X就被量化成离散信源Xn。 离散信源Xn的数学模型为： 且ΣP(xi)△ = = H(Xn) = －ΣPi log Pi = －Σ[P(xi)△] log[P(xi)△] = －ΣP(xi)△ logP(xi) －ΣP(xi)△ log△ Xn P ＝ x1 , x2 , … , xi , … , xn P(x1) △, P(x2) △, … , P(xi) △ , … , P(xn) △ ╭a+i△ ∣ P(x) dx ╯a+(i－1)△ ╭b ∣ P(x) dx = 1 ╯a 当n→∞，即△→0时，离散随机变量Xn趋向于连续随机变量。因此，连续信源的的信息熵就是离散信源Xn的极限值。 H(X) = H(Xn) = －ΣP(xi)△ logP(xi) － (log△)ΣP(xi)△ = － P(x) logP(x) dx － log△ 上式第一项为定值；当△→0时，第二项→∞，所以避开第二项，定义连续信源的熵为：h(X) = － P(x) logP(x) dx 连续信源的绝对熵是无穷大的。 既然有限的h(X)不能代表连续信源的平均不确定性的大小，也不能代表连续信源输出的信息量，那么为什么要定义连续信源的熵h(X)呢？ 1、为了与离散信源的熵在形式上统一起来 离散：H(X) = －∑Pi logPi 连续：h(X) = － P(x) logP(x) dx 2、在实际问题中常常讨论的是熵之间的差值，如果这两个连续信源在离散逼近时所取的间隔△一致，则两个无限大的项将互相抵消。因此，连续信源的熵h(X)称为“差熵/相对熵/微分熵”，以区别于原来的绝对熵H(X)。 我们可以定义两个连续变量X、Y的联合熵和条件熵： 联合熵：h(XY) = － R P(xy) logP(xy) dx dy 条件熵：h(Y/X) = － R P(xy) logP(y/x) dx dy = － R P(x)P(y/x) logP(y/x) dx dy