近代信息论-第一章-2.ppt

近代通信理论 第一章-2 主要内容 第三节 互信息 第四节 多符号离散信源的熵 第五节 马尔科夫链及马尔科夫信源 第三节 互信息 定义 性质 信息不增原理 互熵 第三节 互信息 互信息的定义 Y关于X的互信息 I(X;Y) 互信息定义的含义 “Y”已知使X的不确定度减少了H(X)-H(X|Y)=I(X;Y) ,获得了I(X:Y)的信息量。 互信息的特例 X,Y相互独立： H(X|Y)=H(X) I(X;Y)=0 含义：无法从一个变量中提取另一个变量的信息。 X,Y一一对应： H(X|Y)=0; I(X;Y)=H(X) 互信息——各变量的关系 互信息在通信中的含义 I(X;Y)——接收端所能获得关于X的信息 当干扰大，X与Y无关，I(X;Y)=0,则收不到关于X的信息； 若无干扰，Y与X一一对应，I(X;Y)=H(X),则能充分收到X的信息。 I(X;Y)——每传一个符号流经信道的平均信息量 互信息用于表征信道特征。 互信息的性质 非负性 对称性 互信息的性质——凸函数性 互信息的性质——凸函数性 信息不可增原理 信息不可增原理 通信中信道串联：如：微波接力，或多级处理 信息不可增原理 通信中信道串联：如：微波接力，或多级处理 互熵（relative entropy) 互熵：关于两个具有相同符号概率分布的距离测度。 定义： 理解：两分布之间的距离，相似性。 性质： 注意点：互熵不满足对称性。 互熵和互信息 关系式： 互信息 定义 性质 信息不增原理 互熵 第四节：多符号离散信源的熵，互熵，互信息 多符号离散信源： 信源发出的消息是时间上或空间上的一系列离散符号序列: X=X1,X2,…… 分类讨论： 离散无记忆信源 N次扩展信源： 离散无记忆信源的熵 发一次，平均信息H(X), 发N次，平均信息NH(X)。 熵的递推定理(chain rule for entropy) 含义： X1,X2,…,XN的平均信息量=发一个符号的信息量 +已知这时刻符号的前提下发第二个符号的信息量 +已知第一二个符号，再发第三个符号的信息量 + …… 熵的递推定理(chain rule for entropy) 熵的递推定理(chain rule for entropy) 离散平稳信源的极限熵（熵率） 条件熵 H(XN|X1 X2 …XN-1)随着N的增大是非递增的。 即： 离散平稳信源的极限熵（熵率） 平均符号熵 多符号信源每发一个符号所提供的平均信息量 离散平稳信源的极限熵（熵率） 称为离散平稳有记忆信源的极限熵（熵率） 例：英文/中文字符的极限熵 英文：27个符号（字母和空格） 0阶：H0=log227=4.76bits/symbol 1阶：H1=4.03bits/symbol 2阶：H2=3.32bits/symbol 当以等概率传送，效率： 离散平稳信源的极限熵（熵率） 称为离散平稳有记忆信源的极限熵（熵率） 第五节 马尔科夫链及马尔科夫信源 对于随机过程{Xi}, 熵率： 平稳性：联合分布随时间推移不改变： Markov chain Markov chain 一阶马尔科夫过程（马尔科夫链） Markov chain 时不变马尔科夫链（主要研究对象） 定义：对于所有n, P(Xn+1|Xn)与n无关，即： P(Xn+1=b|Xn=a)= P(X2=b|X1=a) 例：二元马尔科夫链 P= 例：二元马尔科夫链 一阶记忆；下一时刻的X取值只与当前的有关，与以前的无关。 联合概率分布函数（pdf) 为： 概率转移矩阵P P=[Pij] 其中， Pij =P(Xn+1=j|Xn=i)，表示从状态i到达状态j的概率。 说明 n+1时刻某时刻出现的概率为 近代通信理论 * recall 熵的可加性： 对于随机变量X和Y,有 H(XY)=H(X)+H(Y|X) 含义是：（XY）的联合熵=无条件熵+有条件熵 =X的熵+已知X条件下的Y的熵 熵的极值性，有： H(Y|X) 不大于 H(Y); H(X|Y) 不大于 H(X). 含义是：条件熵 不大于 无条件熵 类似地，X关于Y的互信息 I(Y;X) H(X) 信源X的不确定度； H(X|Y) 当Y已知时，信源X的不确定度； Y关于X的互信息I(X:Y)的含义—— Y已知后，获得关于X的信息量。 H(XY) H(X) H(Y) I(X;Y) H(X|Y) H(Y|X) 信道 I（Ｘ；Ｙ） Ｘ Ｙ back 极值性 back recall 信息论提供“观测”，“测量”等行为的理论基础 测量模型 处理 X Y Z 不可观测值