近代信息论第二章.pptVIP

第1页，共28页，星期日，2025年，2月5日主要内容第一节信道的主要参数和分类第二节信道容量的定义及一般计算方法第三节：无噪离散信道第四节：对称离散信道的信道容量第五节：离散信道容量迭代计算第2页，共28页，星期日，2025年，2月5日第一节信道的主要参数和分类分类信道：载荷着消息的信号所通过的通道。以输入输出空间分离散信道连续信道半离散半连续信道时间离散的连续信道波形信道单符号信道多符号信道以输入输出端的个数分两端信道多端信道（多用户）以输入输出随机变量的pdf分恒参信道随参信道无记忆信道有记忆信道第3页，共28页，星期日，2025年，2月5日信道的数学描述P(Y|X)XY三要素1.输入变量X符号集2.输出变量Y符号集3.转移概率第4页，共28页，星期日，2025年，2月5日信道转移概率P(Y|X)转移概率P(Y|X)的矩阵共r*s个元素back第5页，共28页，星期日，2025年，2月5日第二节信道容量的定义及一般计算方法recallShannon以前：E一定时，为了Pe0，R0。Shannon:给出了信道容量的概念，指出RC，可使得Pe任意小。类比模型：引水引水：根据需引水的量，涉及水管，管道，渠，管大了浪费，小了不行。通信：分析信源待传送的信息；分析信道的传输能力，选取信道。本章重点e.g.Voiceband(S/N)db102030405060ChannelCapacity(kbps)13.8426.639.853.16679第6页，共28页，星期日，2025年，2月5日信道容量的定义I(X;Y):（平均意义上）信道每传一个符号流经信道的平均信息量。定义：信息传输率：R=I(X;Y)bit/信道符号(每传一个符号携带的信息量。)定义：信息传输速率：Rt=I(X;Y)/tbit/s（单位时间传输的信息量，相当于水管内水流速）第7页，共28页，星期日，2025年，2月5日定义：信道容量——最大的信息传输率定义：信道最大信息传输速率：信道容量的定义注意到：第8页，共28页，星期日，2025年，2月5日定理：I(X,Y)达到极大值的充要条件是输入分布满足：信道容量的定义特别地，若转移矩阵P非奇异，r=s,第9页，共28页，星期日，2025年，2月5日信道容量的一般计算方法back第10页，共28页，星期日，2025年，2月5日第三节：无噪离散信道具有一一对应关系具有扩展性具有归并性第11页，共28页，星期日，2025年，2月5日1.具有一一对应关系XY转移矩阵P信道容量求解：H(Y|X)=0H(X|Y)=0(每列仅一个非零元素）I(X,Y)=H(X)=H(Y)对应的输入分布是均匀分布。离散最大熵定理第12页，共28页，星期日，2025年，2月5日2.具有扩展性的信道每列只有一个非零元素，其后验概率H(X|Y)=0，I(X,Y)=H(X)则第13页，共28页，星期日，2025年，2月5日3.具有归并性的信道其中的元素不是0就是1。H(Y|X)=0,I(X,Y)=H(Y)则，输入分布？——不唯一第14页，共28页，星期日，2025年，2月5日无噪离散信道具有一一对应关系具有扩展性（每列仅有一个非零元素）疑义度H(X|Y)=0从Y中可以获取X的信息。具有归并性（转移矩阵元素为0或1）噪声熵H(Y|X)=0从X中可以获取Y的信息。结论：无噪信道的信道容量，只决定于信道的输入或输出的符号数。back第15页，共28页，星期日，2025年，2月5日第四节：对称离散信道的信道容量“对称”——强对称1.输入变量X符号2.输出变量Y符号3.转移概率P=I(X,Y)=H(Y)-H(Y|X)第16页，共28页，星期日，2025年，2月5日对称离散信道的信道容量各行[]内相等i,j展开I(X,Y)=H(Y)-H(Y|X)第17页，共28页，星期日，2025年，2月5日I(X,Y)=H(Y)-H(Y|X)输出为均匀分布，输入分布？——均匀分布第18页，共28页，星期日，2025年，2月5日例：二元对称信道0101P=0.5C以上为强对称信道——对称信道第19页，共28页，星期日，2025年，2月5日离散对