论离散信道及其容量.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * 例4.2.7 对信道的输入符号集X：设面1、2、3、4朝上为事件X=0；设面5、6朝上为事件 X=1。则信源概率空间为： 对信道的输出符号集Y：设出现0次正面为 事件Y=0；设出现1次正面为事件Y=1；设出 现2次正面为事件Y=2。则信道矩阵为： 联合分布为： 条件熵为： 输出符号集Y的分布： 则 所以：I(X;Y)=H(Y)-H(Y|X)=1.325-1.166=0.159 * 4.2.5 熵、信道疑义度及平均互信息的相互关系 H(X,Y)=H(X|Y)+H(Y)=H(Y|X)+H(X) I(X;Y)=H(X)-H(X|Y) I(X;Y)=I(Y;X) I(X;Y)=I(Y;X)≥0 I(X;X)=H(X) * 4.3 离散无记忆扩展信道 4.2节讨论了单个符号的信道传输情况。实际上，一般离散信道的输入和输出是一序列，因此有必要研究扩展信道。 N次扩展信道与单符号信道之间的关系，类似于N次扩展信源与单符号信源之间的关系。 N次扩展信道中，输入变量和输出变量均为N维的： X={X1,X2,…,XN}，Y={Y1,Y2,…,YN}，输入序列共有rN个，输出序列共有sN个，输入和输出序列分别记为αk和βh。 N次扩展信道的数学模型为 * 例4.3.1 二元无记忆对称信道的二次扩展信道。 二元对称信道 二次扩展信道的输入和输出： N=2,r=2,s=2，则rN=4,sN=4，输入、输出符号集{00,01,10,11} 扩展信道的传递概率： 信道矩阵为： 扩展信道的平均互信息：I(X;Y)=I(XN;YN) * 4.3.2 定理 定理4.3.1 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则： I(X;Y)≤∑I(Xi;Yi) 定理4.3.2 若信道的输入和输出分别是N长序列X和Y，且信源是无记忆的，则： I(X;Y)≥∑I(Xi;Yi) 当信源和信道都是无记忆的，此时 I(X;Y)=∑I(Xi;Yi) 当信道输入序列的每一个符号来自同一个符号集A，信道输出序列的每一个符号来自同一个符号集B，则 ∑I(Xi;Yi)=NI(X;Y)，即I(X;Y)=NI(X;Y) 来自同一符号集：{00,01,10,11}，每一序列的两个符号均来自{0,1} 来自不同符号集：{a1,a2,b1,b2}，每一序列的第一个符号来自{a,b}，第二个符号来自{1,2} * 4.4 信道的组合 组合方式 并行：积信道 串行：级联信道 例如：Internet 例如：GSM 重点介绍级联信道（串联信道） * 假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。 定理4.4.2 若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有 I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 定理4.4.2叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。 信道I p(y|x) 信道II p(z|xy) X Y Z * 例4.4.1 两个二元对称信道串联 一个马尔可夫链，则串联信道总的信道矩阵为 则 I(X;Y)=1-H(p) I(X;Z)=1-H(2p(1-p)) 从图中能够看出 I(X;Z)≤I(X;Y) * 例4.4.2 信道I和信道II的信道矩阵分别为 X,Y,Z构成一个马尔可夫链，则 * 4.5 信道容量 定义4.5.1 信道容量定义为平均互信息的最大值： C=maxp(x){I(X;Y)} 由定理4.2.1知，I(X;Y)是p(x)的上凸函数，称使I(X;Y)取最大值的p(x)为最佳输入分布。 由I(X;Y)的定义式可知， I(X;Y)是由信道特性p(y|x)和信源特性p(x)共同 决定的，但是容量C已对所有 可能的p(x)取最大值，因此 容量C仅与信道特性p(y|x)有关， 也就是说，容量C是信道的固有 特性，与信源无关。 * 信息传输率 信道的信息传输率R定义为平均互信息： R=I(X;Y) 其含义是：平均每个符号所能传送的信息量。 研究信道的核心问题是求出信道容量C，以及达到信道容量C的信源分布p(x)（最佳输入分布）。 * 4.5.2 特殊信道的信道容量 无损信道：logr 确定信道：logs 无噪