[2018年最新整理]信息论基础第2章.ppt

一〉单个消息的互信息 （续） 称 为互信息密度。 对互信息，我们有如下定理： 定理2-4-1：互信息有下列基本性质： ① ② ——非负性； ③ 证明：①由定义有： 一〉单个消息的互信息 （续） 一〉单个消息的互信息 （续） ②由互信息定义及Shannon不等式，显见 即 ③同理，显见 且当U=V时， 若U、V统计独立时， 即接受者V不能从发送者U中获得任何信息。 （熵的非负性） 至此，我们已讨论了熵H(U)、H(V)，条件熵H(U/V)、H(V/U)，联合熵H(U,V)以及互信息I(U;V)，它们之间可以用下列形象、直观图形表示： 一〉单个消息的互信息 （续） 下面，我们进一步讨论互信息的性质 定理2-4-2：互信息I(U;V)是 的上凸（ 凸）函数；是 的下凸（ 凸）函数。 证明：为了证明方便，我们将互信息改写为： 当条件概率Pji不变时， ， 这时， 一〉单个消息的互信息 （续） 所以要证明I(pi)是pi的上凸函数，只需证：（按上凸函数定义） 即： 一〉单个消息的互信息 （续） ， 上凸性得证。 一〉单个消息的互信息 （续） 一〉单个消息的互信息 （续） 再证下凸性，这时，可认为 为不变值， 则 同理，可设： 而 要证下凸性，只需证 即： 下凸性亦得证。 一〉单个消息的互信息 （续） 类似于信源熵，我们在研究单个消息互信息的基础上，进一步拓广至消息序列的互信息。 为此有如下定理: 定理2-4-3:若U=（U1…Ul…UL）, V=（V1…Vl…VL）分别为发送和接受的消息序列，则有: 二 消息序列的互信息I(U;V) ① 若各发送Ul统计独立:则: ② U , V 间信道无记忆: 则: 上述①②均满足: 则: 证明:① 二 消息序列的互信息I(U;V) (续） ①式得证 二 消息序列的互信息I(U;V) (续） ② ②式得证。 二 消息序列的互信息I(U;V) (续） ③若同时满足上述①，②条件，显然①，②两式结论同时成立。故③式得证，即： 若进一步又满足平稳性（推移不变与序号无关） 定理2-4-4:类似于熵的链规则，互信息也有下述链规则: 二 消息序列的互信息I(U;V) (续） 证明:先证l=2,这时，有: 二 消息序列的互信息I(U;V) (续） 信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如： 1 bit = 0.693 Nat = 0.301 Det 最后，有必要阐述一下信息熵与信息量之间的关系： 信息熵是表征信源本身统计特性的一个物理量，它是信源平均不确定性的度量，是从总体统计特性上对信源的一个客观描述。 信息量一般是针对接收者而言的，是一个相对量，是指接收者从信源中所获得的信息度量。我们又称它为互信息量I(U;V)。当通信中无干扰时，接受者获得的信息量数量上就等于信源给出的信息熵，但是两者的概念不一样；当信道有干扰时，不仅概念上不一样，而且数量上也不相等。信息熵也可理解为信源输出的信息量。 （一）信息熵与信息量的基本概念 （续） (二) 熵的数学性质 主要用三个定理加以概括。 定理2-2-1：熵函数H(U)具有以下主要性质： n H H H 5可加性： (二) 熵的数学性质 （续） 证明：1，2，3由熵的定义显见。 5可加性： (二) 熵的数学性质 （续） 定理2-2-2：熵函数H(U)具有极值性，即 (二) 熵的数学性质 （续） 用图形表示为： 证明：先证明一个常用不等式： (二) 熵的数学性质 （续） 令f(x)=log x –(x-1) ,则 , 可见当x=1时，f(x)=0,它是f(x)的极值。且 ，故此极值为极大值。 所以有： f(x)≤f(1)=0 ，当且仅当x=1时取等号。 这时 f(x)=log