准对称离散信道.pptVIP

3.2.2 几种特殊离散信道的信道容量 一、离散无噪信道的信道容量 离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类： 1.具有一一对应关系的无噪信道 （无损确定信道） 2.具有扩展性能的无噪信道（无损信道） 3.具有归并性能的无噪信道（确定信道） * 损失熵H(X/Y)与噪声熵H(Y/X) H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y) 噪声熵等于输出信源Y所含有的信息量减去信道输出端接收到符号集Y之后平均每个符号所获得的关于输入集X的信息量。 * 1.具有一一对应关系的无噪信道（无损确定信道） 无损确定信道的输入和输出是一一对应关系，如右图所示。 … … X Y x1 y1 xi yi xn yn * 1.具有一一对应关系的无噪信道（无损确定信道） X和Y有确定的对应关系，即已知X后Y没有不确定性，反之，亦然。 信道的噪声熵H(Y/X)和损失熵H(X/Y)均等于零。故无损确定信道的平均互信息为 I(X;Y)=H(X)=H(Y) 它表示信道输出端接收到符号Y后，平均获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。 当信源等概分布时，具有一一对应的确定关系的无噪信道达到其信道容量，其值就是信源X的最大熵值。 * 2.具有扩展性能的无噪信道（无损信道） 无损信道的一个输入对应多个互不相交的输出，如右图所示。 信道矩阵中每列中只有一非零元素，即已知Y后，X不再有任何不确定度。故损失熵H(X/Y)=0 X Y y1 x1 y2 y3 x2 y4 y5 x3 y6 * 2.具有扩展性能的无噪信道（无损信道） 在这类信道中，因为信源发生符号xi，并不能确定在信道输出端会发生哪个yj，因此噪声熵H(Y/X) ＞0。 于是，可求出无损信道的平均互信息为 I(X;Y) = H(X) ＜H(Y) 其信道容量 * 3.具有归并性能的无噪信道（确定信道） 确定信道的一个输出对应着多个互不相交的输入，如右图所示。 信道矩阵中每行中只有一非零元素，即已知X后，Y不再有任何不确定度。故噪声熵H(Y/X)=0 X Y x1 y1 x2 x3 y2 x4 x5 y3 * 在这类信道中，信道输出端接收到某个yj以后，并不能断定是哪一个输入符号xi，因此损失熵H(X/Y) ＞0。 于是，可求出确定信道的平均互信息为 I(X;Y) = H(Y) ＜H(X) 其信道容量 达到此类信道的信道容量