信息论课件-信息论的基本概念.pptVIP

熵 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 互信息 互信息的定义 多个随机变量下的互信息 互信息函数的性质 连续随机变量下的熵与互信息 离散互信息 定义：离散随机变量X和Y之间的互信息 离散互信息 和 是随机变量X和Y之间相互提供的信息量－－称为互信息是完全确切的 ＝ 证明略。 一般情况下： 理解：了解一事物总对另一事物的了解有所帮助 离散互信息 当随机变量X和Y之间有确定的关系时 1、X可以唯一确定Y， 此时： 故： 2、 Y 可以唯一确定X ， 此时： 故： 是对X和Y之间统计依存程度的信息量度 离散互信息 ＝ ＋ ＝ ＋ ＝ 另一种定义： 这里： ＝ 变换得到互信息的另一种表达式：I（X;Y）是随机变量X的概率矢量p 和条件概率矩阵Q的函数 ＝ 互信息函数的性质 互信息与p(x)(信道输入概率分布)的关系 性质1 ：I(p;Q)是p(x)的上凸函数. q 互信息函数的性质 互信息与Q矩阵（信道转移概率分布）的关系 性质2 ：I(p;Q)是Q的下凹函数. q q q 互信息函数的性质 互信息与随机变量X（信道输入符号）的相关性的关系 性质3: 若概率矢量p是离散无记忆的, 互信息函数的性质 互信息与随机变量Q（信道）相关性的关系 性质4: 若条件概率矩阵Q是离散无记忆的, q q q q q 互信息函数的性质 互信息与信道输入符号及信道相关性的关系 推论: 若概率矢量p和条件概率矩阵Q都是离散无记忆的, 熵 VS 互信息 信息熵是表征随机变量本身统计特性的一个物理量，它是随机变量平均不确定性的度量，是从总体统计特性上对随机变量的一个客观描述。 互信息I(U;V),我们又称它信息量一般是针对观测到另一个随机变量时而言的，是一个相对量，是指观测者从随机变量V中所获得的关于随机变量U的信息度量。在通信中，互信息是针对接收者而言的，是指接收者收到的关于信源的信息度量，当通信中无干扰时，接受者获得的信息量数量上就等于信源给出的信息熵，但是两者的概念不一样；当信道有干扰时，不仅概念上不一样，而且数量上也不相等。信息熵也可理解为信源输出的信息量。 熵 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 互信息 互信息的定义 多个随机变量下的互信息 互信息函数的性质 连续随机变量下的熵与互信息 信息论的基本概念 熵 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 互信息 互信息的定义 多个随机变量下的互信息 互信息函数的性质 连续随机变量下的熵与互信息 非负性 连续性 可加性 等概时与取值空间N的关系（单调增） 与发生的概率P的关系（单调减） 考察、分析信息的特征 熵的引入 一个离散随机变量X，以不同的取值概率有N个可能取值, X P（x） ＝ a1 a2 … aN p1 p2 … pN 信息论关心：X的不确定性 不确定性－－大，获取的信息－－多 熵的引入 不确定性分析： 随机变量X、Y、Z X P（x） ＝ a1 a2 0.01 0.99 Z P（y） ＝ a1 a2 a3 a4 a5 0.2 0.2 0.2 0.2 0.2 Y P（z） ＝ a1 a2 0.5 0.5 问题：能否度量、如何度量？？ 小 大 香农指出：存在熵函数 满足先验条件 1、连续性条件： 是 的连续函数 2、等概时为单调增函数： 是N的增函数 3、可加性条件：多次试验确定取值时，X在各次试验中的不确定性可加。 结论：唯一的形式： C=常数0， 即： 熵的单位 信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行