信息论基础-离散无记忆信道信道容量.ppt

*第4章数据可靠传输和信道编码*数据可靠传输和信道编码4.1离散无记忆信道和信道容量4.2信道容量的计算4.3信道编码理论4.4带反馈的信道模型4.5联合信源-信道编码定理4.6线性分组码习题四数据可靠传输和信道编码*离散无记忆信道和信道容量信道容量的计算信道编码理论带反馈的信道模型联合信源-信道编码定理线性分组码习题四离散无记忆信道和信道容量*为确定信道传输的限度，就要考虑信道传递信息的基本单元—信号.信号无论采用光、声、电还是其他形式都是一种物理过程.每个信号都需要一定的时间.在烽火台上点燃烽火也许要花好几分钟，现代极高频无线电通信传递信号所需要的时间还不到亿分之一秒.尽管如此，总要有一定的时间间隔才能把信号与信号分离开来.超过时间间隔的一定限度，信号就会无法分辨：典型的例子就是一个人说话过分快，听的人根本听不懂他在说什么.因此，要使一个信道能够起到传递信息的功能，每分钟传递的信号数目就要有一定的限度.离散无记忆信道和信道容量*1这—点是比较容易理解的.再比如，我们规定公共汽车必须一辆接一辆地开来，每辆汽车必须在车站停一分钟，以便乘客上下.那么不管增加多少车辆，也不会越过每分钟一辆的速率.2既然如此，要想提高运输量，途径就是增加每辆汽车的3装载量.那么能否提高每个信号所携带的信息量呢？4信息量的定义告诉我们，一个事件发小的概率越小，告诉我们这件事是否发生的信号带来的信息量越大.进而增大每个信号信息量的办法是增加不同信号的数目.离散无记忆信道和信道容量*但是，对于任何给定的信道来讲，可以分辨的信号数目(这和前面所讲的以时间间隔分辨信号是不同的概念)是有限的.例如对于电报来讲，不同的信号只有点和划；对于电话来讲，可以分辨的音素也是有限的.即使在没有噪声干扰的情况下(每辆公共汽车可以载满乘客，不必担心中途会发少什么意外)，信道在单位时间内只能准确地传递有限的信号，而每个信号所携带的信息量又是有限的，因此信道在单位时间内传递的信息量也是有限的.该限度就称为信道容量—信道容量限制了通信系统的能力！离散无记忆信道*提高传输的可靠性！信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端（2）多用户信道（广播、电视、卫星、计算机网）至少有一端有两个以上的用户，双向通信离散无记忆信道离散无记忆信道*根据符号的概率分布，可分为有记忆信道无记忆信道（任一时刻输出符号只统计依赖于对应时刻输入符号的01信道）02根据输入输出信号的特点，可分为离散无记忆信道*离散信道?输入集和输出集都是离散集:电报信道和数据信道连续信道?电视和电话信道半离散半连续信道?输入集和输出集中一个是连续集、另一个是离散集:连续信道加上数字调制器或数字解调器波形信道以下我们只研究单用户离散无记忆信道。数字信道以数字脉冲形式（离散信号）传输数据满足离散无记忆信道的充要条件是离散无记忆信道*其中，输入符号集X={x1,x2,…,xN}输出符号集Y={y1,y2,…,yN}信道转移概率分布的矩阵形式：离散无记忆信道信道转移概率离散无记忆信道*信道转移概率分布的图示：信道容量*信道的任务是以信号方式传输信息和存储信01息；因此，研究信道就是研究信道中能够传送或02存储的最大信息量，即信息无差错传输的最大速03率，就是信道容量问题.04因此，首先要考虑信道中平均每个符号能传05输的信息量——平均互信息.06区分：带宽与信道容量07*带宽:信道可以不失真地传输信号的频率范围。为不同应用而设计的传输媒体所支持的带宽有所不同；在现代网络技术中，“带宽”表示信道的数据传输速率.

信道容量:信道在单位时间内可以传输的最大信号量，表示信道的传输能力。信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。

信道容量和信道带宽具有正比的关系：带宽越大，容量越大。

局域网带宽（传输速率）：10Mbps、100Mbps、1000Mbps；

广域网带宽（传输速率）：64Kbps、2Mbps、155Mbps等信道容量离散无记忆信道和信道容量由于I(X,Y)=H(X)-H(X|Y)bit/符号是输入随机变量X的概率分布p(x)的上凸函数，因此对于一个确定信道，总存在一个信源（某种概率分布p