第2章 多符号信源PPT.pptVIP

I(X;Y)= H（X）-H（X︱Y） (2-35) I(X;Y)= H（Y）-H（Y︱X） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY ) (2-37) ;平均互信息的应用;医学图像的分类; 医学图像种类;存在问题;医学图像配准技术;基于互信息的图像配准;配准过程;;基于互信息的配准准则;;2.2 离散无记忆的扩展信源;一般情况 设一个离散无记忆信源为：;其中：;例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:{a1,a2,a3}; P(X):{1/4, 1/2, 1/4};其概率关系为 :;离散平稳信源;2、二维平稳信源及其信息熵;已知符号 出现后，紧跟着 出现的条件概率为：;根据信息熵的定义，可得： （1）联合熵;(2)条件熵;另外还可以得到：;[例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。;离散平稳信源的极限熵; 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵;马尔可夫性;马尔科夫链;转移概率矩阵;马尔可夫信源; 马尔可夫信源; 马尔可夫信源;;; 马尔可夫信源;马尔可夫信源;例 设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图2.2.1给出。;将图中信源在ei状态下发符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 由图中看出： 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。;有限齐次马尔科夫链的各态历经定理;(3) 举 例;由二元信源X∈{0,1}得到的状态空间(e1,e2,e3,e4)和相应的一步转移概率构成的2阶马尔可夫信源模型为 求出稳定状态下的p(ej) ，称为状态极限概率。 将一步转移概率代入上式得 p(e1)=0.8 p(e1)+0.5 p(e3) p(e2)=0.2 p(e1)+0.5 p(e3) p(e3)=0.5 p(e2)+0.2 p(e4) p(e4)=0.5 p(e2)+0.8 p(e4);解方程组得 p(e1)= p(e4)=5/14 p(e2)= p(e3)=2/14 计算极限熵 ;信源剩余度与自然语言的熵;;连续信源的数学模型;连续信源的差熵