关于Shannon信息论的几点讨论信息论与通信的几个基教学文稿.pptVIP

Shannon信息论的几个基本问题 自信息量I(xk)是为了确定事件xk的出现所必须提供的信息量，它也是任何其它事件所能提供的关于事件xk的最大信息量，即任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。 由0≤q(xk)≤1可得， I(xk)≥0， 即自信息量是非负的。 自信息量还可解释成出现事件xk的先验不确定性的大小。一个事件不常出现，它的概率就小，当我们知道该事件出现时获得的信息就多，它的自信息就大，反之就小。所以自信息可以认为是随机事件的一种固有特征。 ⑶ 平均自信息量——熵 Shannon信息论的几个基本问题 集X的平均自信息量，又称作是集X的信息熵，简称作熵。描述集X中事件出现的平均不确定性。 某次通信所获得的信息量通常是非平均的，它可以是正面的，有助于对某一特定事件做出判定；也可以是负面的，使我们更难对某一特定事件做出判定。 对于通信系统设计来说，关心的是对信源输出集的传输和处理，因此需要研究统计平均量。 Shannon信息论的几个基本问题 Shannon信息论研究的是消息或数据的群体行为，而不是孤立的个别消息或数据的行为，正如我们从宏观来看物质或材料时，我们所关心的是大量原子或分子的群体行为一样。 当我们关心个别消息的传输问题时，或当我们不掌握整个消息空间的统计特性时，我们就需要求助于其他的信息定义或理论了。 Shannon信息论的几个基本问题 热熵 在19世纪，统计力学的奠基者们发展了后来称为热熵的知识，以解释热力学的诸定律。乍一看，热力学和信息论是两个分离的范畴：一个用来描述蒸汽机，另一个使通信最优化；然而，熵这个热力学量又正比于物质内由分子的位置与速度所记录的比特数。 20世纪的量子力学将这一发现置于坚实的定量基础之上，并使科学家具有明确的量子信息概念。组成宇宙的各比特值是量子力学比特，或称 “昆比特”（qubits），较之于普通比特，它具有远为丰富的性质。 ⑷ 平均互信息量——熵差 Shannon信息论的几个基本问题 ① 非负性 I(X；Y)?0 当且仅当集合X和集合Y统计独立时，上式等号成立。 ② 对称性 I(X；Y)=I(Y；X) ③ 平均互信息可用熵和条件熵之差表示如下: I(X；Y)=H(X)－H(X|Y) =H(Y)－H(Y|X) =H(X)+H(Y)－H(YX) Shannon信息论的几个基本问题 当把X 作为系统的输入集，Y 作为系统的输出集时，互信息I(X；Y)等于输入集的平均不确定性H(X)减去在观察到输出Y后，集X还保留的不确定性H(X|Y)。H(X|Y)常称作含糊度、疑义度或存疑度。在给定集X下，含糊度越大，得到的信息量就越小。 Shannon信息论的几个基本问题 注意，互信息是熵差，而不是熵。熵是不确定性的量度，而熵差——经过通信所解除的不确定性才是所能得到的信息量。 熵是潜在的可以产生和可以提取的最大信息量。 Shannon信息论的几个基本问题 ⑸ 凸函数与互信息的凸性 互信息的定义式 它是输入分布q(x)及转移概率分布p(y|x)的函数。 ① 当条件分布(或条件密度)给定时，平均互信息是输入分布(或密度)的凸∩函数。 ② 当集X的概率分布(或概率密度)保持不变时，平均互信息量是集R上所有条件概率分布(或密度函数)的凸∪函数。 Shannon信息论的几个基本问题 4. 信息速率与率失真函数 两个基本问题。 ? 如何描述信源的输出，即如何计算它产生的信息量。 ? 如何表示信源的输出，即信源编码问题。 这两个问题都与信宿对通信质量的要求有关。 ? 无失真源编码：要求精确地重现信源的输出，保证信源产生的全部信息无损地递送给信宿。 ? 限定失真的信源编码：在很多实际情况下，我们并不要求完全精确地复制出信源的输出，而且在有干扰下传输时，要精确地复制信源的输出也是不可能的。 Shannon信息论的几个基本问题 不同的信宿对精确度的要求是不同的，例如在电话通信中，有的只要求可懂度足够高就满意了，而有的如广播系统则要求语调和音色也要好，即还要求有足够高的清晰度才行。图像通信中，军用电视和传真电报只传送地图，公文等，而电视广播是为了欣赏而要求更高的质量。一般一对信源-信宿要定出可接收准则或保真度准则。准则定了之后，就可计算为达到这一要求至少