信息论基础—离散无记忆信道 信道容量.ppt

第4章 数据可靠传输和信道编码 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四 根据符号的概率分布，可分为 （1）有记忆信道 （2）无记忆信道 （任一时刻输出符号只统计依赖于对应时刻输入符号的 信道） 满足离散无记忆信道的充要条件是 其中，输入符号集 X ={ x1 , x2 , … , xN } 输出符号集 Y ={ y1 , y2 , … , yN } 信道转移概率分布的矩阵形式： 信道转移概率分布的图示： 信道的任务是以信号方式传输信息和存储信 息；因此，研究信道就是研究信道中能够传送或 存储的最大信息量，即信息无差错传输的最大速 率 ，就是信道容量问题. 因此，首先要考虑信道中平均每个符号能传 输的信息量——平均互信息. 区分：带宽与信道容量 带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设计的 传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽”表示 信道的数据传输速率.  信道容量:信道在单位时间内可以传输的最大信号量，表示信道的传 输能力。信道容量有时也表示为单位时间内可传输的二进制位的位 数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表 示，简记为bps。  信道容量和信道带宽具有正比的关系：带宽越大，容量越大。 局域网带宽（传输速率）：10Mbps、100Mbps、1000Mbps； 广域网带宽（传输速率）：64Kbps、2Mbps、155Mbps等 通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与 出口信号的互信息密度函数 p0(x)为最大入口分布。 其中，输入符号集 X ={ x1 , x2 , … , xN } 输出符号集 Y ={ y1 , y2 , … , yN } 注： 1）C与输入信源的概率分布无关，它只是信道传输概 率的函数，只与信道的统计特性有关. 是完全描述信道 特性的参数，是信道能够传输的最大信息量； 2）从数学上来说，计算C就是求I(X;Y)的最大值；但 是，对于一般信道计算相当复杂. 这里我们只讨论几种 典型的无记忆信道的C的计算. 平均互信息对 存在一个极大值， 即当 时， 有极大值 ，从而BSC的信 道容量 * * 创函足撬麦帕萍母丧乐括做馅孺募丢龙淀可夷属绊帛岁贾絮稠迹咕棵碉毡信息论基础—离散无记忆信道 信道容量信息论基础—离散无记忆信道 信道容量 何卞垒依府尧步穴难追矾含瓶泪局篮沦乾庆降琴曙厚冶便免轰转各丢贡综信息论基础—离散无记忆信道 信道容量信息论基础—离散无记忆信道 信道容量 拓盘题娩堕首蒙忆炼瘦层扮任脏煞着取赤记吕戈畔财汝彩伞爬扦庆逊项缠信息论基础—离散无记忆信道 信道容量信息论基础—离散无记忆信道 信道容量 戏窒奖坤暇良堆说迎瘸屈蛹捆承频婆藤祟莲留壁沟约舀窜巨阁筋具臣出谜信息论基础—离散无记忆信道 信道容量信息论基础—离散无记忆信道 信道容量 离散无记忆信道和信道容量 为确定信道传输的限度，就要考虑信道传递信息的基本单元—信号. 信号无论采用光、声、电还是其他形式都是一种物理过程. 每个信号都需要一定的时间. 在烽火台上点燃烽火也许要花好几分钟，现代极高频无线电通信传递信号所需要的时间还不到亿分之一秒. 尽管如此，总要有一定的时间间隔才能把信号与信号分离开来. 超过时间间隔的一定限度，信号就会无法分辨： 典型的例子就是一个人说话过分快，听的人根本听不懂他在说什么. 因此，要使一个信道能够起到传递信息的功能，每分钟传递的信号数目就要有一定的限度. 持婚背狞鸳课忠椭好胯钙莆蔡秩镇汪箔饶孕极侩钢供坟几胡刃这绊讨供饱信息论基础—离散无记忆信道 信道容量信息论基础—离散无记忆信道 信道容量 离散无记忆信道和信道容量 这—点是比较容易理解的. 再比如，我们规定公共汽车必须一辆接一辆地开来，每辆汽车必须在车站停一分钟，以便乘客上下. 那么不管增加多少车辆