信息论第3章离散信道与平均互信息量课件.pptxVIP

第3章 离散信道与平均互信息量研究信源，研究的是信源输出的信息量，即信源的熵H(X)。研究信道，研究的是流经信道的信息量，即信道的输出Y与输入X之间的平均互信息量I(X;Y)。互信息量与平均互信息量1.互易性2 极值性3 互信息量可正可负当集合X,Y相互独立时互易性、极值性、非负性、凸函数性对于固定的信道，平均互信息I(X ; Y)是信源概率分布p(x)的上凸函数。 对于固定的信源分布，I(X ; Y)是信道传递概率p(y|x)的下凸函数。 信道容量信息传输率 信道中平均每个符号所能传送的信息量。 信息传输速率 信道在单位时间内平均传输的信息量。1)对于给定的一个信道，存在输入分布p(x)使I(X;Y)达到最大,称为最佳输入分布（最佳信源）；2)信道容量表征信道传送信息的最大能力； 3)C与p(x)无关，是关于信道p(y|x)的函数。I(p(x))信道容量P(x)p(x)最佳输入分布P1(x)P2(x)信道容量和最佳信源分 类 无损确定信道--无损信道确定信道信道容量 H(X|Y)=0 H(Y|X)=0H(X|Y)=0 H(Y|X)0H(X|Y)0 H(Y|X)=0最佳信源 等概分布使信道输出为等概率分布p(y)=1/s的输入分布等概分布离散对称信道 二元对称信道的信道容量是 C=1-H(P)。 离散准对称信道实现离散准对称信道信道容量的输入符号集的分布为等概分布。 信源和信道的匹配 信息传输率R=I(X;Y) 达到了信道容量C，则称此信源与信道达到匹配。 否则，称信道有剩余→信道剩余度信道容量与信道实际传输的平均互信息量之差称为信道剩余度。 若Ｘi取值于Ａ，Ｙi取值于Ｂ，并且Xi的分布相同，Yj的分布相同，i=1,2,…Ｎ则称其为[X, p(y|x), Y]的Ｎ次无记忆扩展信道，记作离散无记忆N次扩展信道信道信源信道都无记忆时，这相当于N个独立信道并联的情况。无记忆N次扩展信道的容量 平均互信息：当信源无记忆时，当信源无记忆，且各分信源Xi均取得最佳分布时，信道容量最佳信源：无记忆，且各分信源Xi均取得最佳分布。串联信道的平均互信息量等号成立X、Y、Z构成马尔科夫链数据处理定理若级联信道中的X、Y、Z构成马尔科夫链则平均互信息量满足