第3章传输理论1.ppt

计算机网络理论及应用 第三章 通信与信息传输理论WWW.LEARN.SN.EDU.CN ;信息论初步Introduction to Information Theory;提要;信息论;信息的度量;信息论基本概念;1.最优编码;1.最优编码;1.最优编码;2.自信息;3.熵;3.熵;;;;一本五十万字的中文书平均有多少信息量？ 我们知道常用的汉字（一级二级国标）大约有 7000 字。假如每个字等概率，那么我们大约需要 13 个比特（即 13 位二进制数）表示一个汉字。 但汉字的使用是不平衡的。实际上，前 10% 的汉字占文本的 95% 以上。因此，即使不考虑上下文的相关性，而只考虑每个汉字的独立的概率，那么，每个汉字的信息熵大约也只有 8-9 个比特。 如果我们再考虑上下文相关性，每个汉字的信息熵只有5比特左右。 所以，一本五十万字的中文书，信息量大约是 250 万比特。 如果用一个好的算法压缩一下，整本书可以存成一个 320KB 的文件。如果我们直接用两字节的国标编码存储这本书，大约需要 1MB 大小，是压缩文件的三倍。 这两个数量的差距，在信息论中称作“冗余度”（redundancy)。 需要指出的是我们这里讲的 250 万比特是个平均数，同样长度的书，所含的信息量可以差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。 不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。这和人们普遍的认识“汉语是最简洁的语言”是一致的。 ;3. 熵;4.联合熵、条件熵;5.互信息;互信息的意义: - Measures how much reduction in uncertainty of X given info. about Y - Measures correlation between X and Y - Related to the “channel capacity” in information theory ;5.互信息;Reference;§3.1概述 ;两个问题;3.1.2 信息网络的现状与未来;3.1.2 信息网络的现状与未来; ; ; ; §3.2通信的概念 ;3.2.2通信系统 ;3.2.2 通信系统;3.2.3 通信系统的信号传输 ;2、调制与多路复用; ; ; ;时分复用 T1;3.2.4 链路设置和传输控制过程 ;3.2.5 交换 ; ; ;2. 线路交换方式 ; ; ;3. 存储交换方式 ; ; ;分组交换举例;4.各种交换方式的特点 ; ; ;§3.3传输的概念 ;3.3.1 传输基础 ; 原信号 传输信号 模拟信号 模拟信号 数字信号 数字信号; (2)信号变换分类;(3)系统的最佳设计 ;(b)最佳化设计的目标; ; ; ; ;3.3.2 信息传输系统 ; ; ; ; ; ; ; ; ; ; ;3.3.3 数字化传输系统 ;数字编码;　　a)单极性不归零码，无电压表示0，恒定正电压表示1，每个码元时间的中间点是采样时间，判决门限为半幅电平。　　b)双极性不归零码，1码和0码都有电流，1为正电流，0为负电流，正和负的幅度相等，判决门限为零电平。　　c)单极性归零码，当发1码时，发出正电流，但持续时间短于一个码元的时间宽度，即发出一个窄脉冲；当发0码时，仍然不发送电流。　　d)双极性归零码，其中1码发正的窄脉冲，0码发负的窄脉冲，两个码元的时间间隔可以大于每一个窄脉冲的宽度，取样时间是对准脉冲的中心。;.归零码和不归零码、单极性码和双极性码的特点;曼彻斯特;图2-13 常用数字信号编码; ; ; ; ; ; ;§3.4 基带传输理论 ;§3.5 高速传输技术简介; ; ;二 密集波复用技术(DWDM);三 全光交换技术;