近代信息论第二章.pptVIP

第一页，共二十八页，2022年，8月28日 主要内容 第一节 信道的主要参数和分类 第二节 信道容量的定义及一般计算方法 第三节：无噪离散信道 第四节：对称离散信道的信道容量 第五节：离散信道容量迭代计算 第二页，共二十八页，2022年，8月28日 第一节 信道的主要参数和分类 分类 信道：载荷着消息的信号所通过的通道。 以输入输出空间分 离散信道 连续信道 半离散半连续信道 时间离散的连续信道 波形信道 单符号信道 多符号信道 以输入输出端的个数分 两端信道 多端信道（多用户） 以输入输出随机变量的pdf分 恒参信道 随参信道 无记忆信道 有记忆信道 第三页，共二十八页，2022年，8月28日 信道的数学描述 P(Y|X) X Y 三要素 1.输入变量X符号集 2.输出变量Y符号集 3.转移概率 第四页，共二十八页，2022年，8月28日 信道转移概率P(Y|X) 转移概率P(Y|X)的矩阵共r*s个元素 back 第五页，共二十八页，2022年，8月28日 第二节 信道容量的定义及一般计算方法 recall Shannon以前：E一定时，为了Pe 0，R 0。 Shannon: 给出了信道容量的概念，指出RC，可使得Pe任意小。 类比模型：引水 引水：根据需引水的量，涉及水管，管道，渠，管大了浪费，小了不行。 通信： 分析信源待传送的信息； 分析信道的传输能力，选取信道。 本章重点 e.g. Voice band(S/N)db 10 20 30 40 50 60 Channel Capacity (kbps) 13.84 26.6 39.8 53.1 66 79 第六页，共二十八页，2022年，8月28日 信道容量的定义 I(X;Y): （平均意义上）信道每传一个符号流经信道的平均信息量。 定义：信息传输率： R= I(X;Y) bit/信道符号 (每传一个符号携带的信息量。) 定义：信息传输速率： Rt= I(X;Y) /t bit/s （单位时间传输的信息量，相当于水管内水流速） 第七页，共二十八页，2022年，8月28日 定义：信道容量——最大的信息传输率 定义：信道最大信息传输速率： 信道容量的定义 注意到： 第八页，共二十八页，2022年，8月28日 定理：I(X,Y)达到极大值的充要条件是输入分布 满足： 信道容量的定义 特别地，若转移矩阵P非奇异，r=s, 第九页，共二十八页，2022年，8月28日 信道容量的一般计算方法 back 第十页，共二十八页，2022年，8月28日 第三节：无噪离散信道 具有一一对应关系 具有扩展性 具有归并性 第十一页，共二十八页，2022年，8月28日 1.具有一一对应关系 X Y 转移矩阵P 信道容量求解： H(Y|X)=0 H(X|Y)=0 (每列仅一个非零元素） I(X,Y)=H(X)=H(Y) 对应的输入分布是均匀分布。 离散最大熵定理 第十二页，共二十八页，2022年，8月28日 2.具有扩展性的信道 每列只有一个非零元素，其后验概率H(X|Y)=0， I(X,Y)=H(X) 则 第十三页，共二十八页，2022年，8月28日 3.具有归并性的信道 其中的元素不是0就是1。 H(Y|X)=0, I(X,Y)=H(Y) 则， 输入分布？——不唯一 第十四页，共二十八页，2022年，8月28日 无噪离散信道 具有一一对应关系 具有扩展性（每列仅有一个非零元素） 疑义度H(X|Y)=0 从Y中可以获取X的信息。 具有归并性（转移矩阵元素为0或1） 噪声熵H(Y|X)=0 从X中可以获取Y的信息。 结论：无噪信道的信道容量，只决定于信道的输入或输出的符号数。 back 第十五页，共二十八页，2022年，8月28日 第四节：对称离散信道的信道容量 “对称”——强对称 1.输入变量X符号 2.输出变量Y符号 3.转移概率 P= I(X,Y)=H(Y)-H(Y|X) 第十六页，共二十八页，2022年，8月28日 对称离散信道的信道容量 各行[]内相等 i,j展开 I(X,Y)=H(Y)-H(Y|X) 第十七页，共二十八页，2022年，8月28日 I(X,Y)=H(Y)-H(Y|X) 输出为均匀分布，输入分布？——均匀分布 第十八页，共二十八页，2022年，8月28日 例：二元对称信道 0 1 0 1 P= 0.5 C 以上为强对称信道——对称信道 第十九页，共二十八页，2022年，8月28日 离散对称信道 [P]中的每一行，都是由同一符号集各元素的不同排列组成，例： 当