第三章传输理论1.pptVIP

计算机网络理论及应用 第三章 通信与信息传输理论WWW.LEARN.SN.EDU.CN 西安交通大学 唐亚哲 yztang@ nettheory@ 信息论初步Introduction to Information Theory 提要 最优编码 自信息 熵 联合熵、条件熵 互信息 交叉熵 KL-divergence 信息论 Shannon 于20世纪40年代提出 在非理想的通信信道内如何传输最大量的信息，包括 数据压缩(与熵相关) 传输率 (信道容量) 信息量的度量 信息论被用来 解决海量存储（文本压缩编码） 推测不确定性-熵 解释随机变量及其分布的关系-互信息、KL距离 信息的度量 信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到 1948 年，香农提出了“信息熵” 的概念，才解决了对信息的量化问题。一条信息的信息量大小和它的不确定性有直接的关系。 比如说，要搞清楚一件非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。从这个角度可认为，信息量的度量就等于不确定性的多少。 例子：冠军队预测 信息论基本概念 编码长度：信源发出的不同信号在传输中需要用多长的编码传输，能够节省对信道的占用，并在接收方