My-第三章.ppt

信道的任务： 以信号方式传输信息和存储信息。 研究内容： 信道中能够传送或存储的最大信息量，即信道容量。 3.1 信道的数学模型和分类 一、信道的分类 根据载荷消息的媒体不同 信道参数与时间的关系 二、离散信道的数学模型 条件概率 P(y|x) 描述了输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。根据信道的统计特性的不同，离散信道又可分成3种情况： (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 三、单符号离散信道 单符号离散信道特性： 输入符号为X，取值于{a1,a2, …,ar} 输出符号为Y，取值于{b1,b2, …,bs} 条件概率：P(y|x)＝P(y=bj|x=ai)＝P(bj|ai) 这一组条件概率称为信道的传递概率或转移概率。 信道中有干扰(噪声)存在，可以用传递概率 P(bj|ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可用 X, P(y|x) , Y 三者加以表述，其数学模型可以用如下概率空间 [X, P(y|x) ,Y] 也可用图形来描述： 信道矩阵（转移矩阵）模型 一般离散单符号信道的传递概率可用矩阵形式表示，即 [例] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: [例]二元删除信道。[BEC，Binary Eliminated Channel] 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 3.2 信道疑义度与平均互信息 研究离散单符号信道的信息传输问题。 互信息量 I(x ; y)： 收到消息y 后获得关于x的信息量，即消除的不确定性量。 3.3 平均互信息的性质 （1）非负性 I(X;Y) ≧0, 当X、Y统计独立时等式成立。 （2）极值性 即 I(X;Y) ≤ min[H(X)，H(Y)] 当 H(X|Y)=0 时，即信道信息无损时，等式成立。 一、信道容量 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源的输入分布概率，使传输每个符号平均获得的信息量最大。 信道容量：对任何一个固定信道，存在一个最大的信息传输率 引入一个函数 （选讲）3.6 独立并联信道及其信道容量 独立并联信道（并用信道）： 设有N个独立信道，其输入分别为 X1,X2,…,XN; 输出分别为 Y1,Y2,…,YN; 传递概率分别是 3.8 信源与信道的匹配 在一般情况下，当信源与信道相连接时，其信息传 输率并未达到最大。若使信息传输率能达到或尽可能接 近于信道容量，只有在信源取最佳分布时才能实现。 “匹配” 当信道确定后，信道的实际信息传输率与信源分布是密切相关的。当达到信道容量时，称信源与信道达到匹配，否则认为信道有剩余。 作业 3-3 3-10 3-24 3-25 如果满足： 即串联信道的总传递概率等于第一级的传递概率，则通过串联信道传输，不会增加信息的不确定性（信息损失），则根据平均互信息定义有： 特殊情况：对于第二级信道是无噪一一对应信道，这个条件是完全满足的。因为其信道矩阵为单位阵，使总信道的转移概率等于第一级信道的转移概率。 另外可知：如果第二个信道是数据处理系统，则经过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息更多。 （损失熵相等） （平均互信息相等） 由以上分析，有： 数据处理定理的另一表述 系统对接收到数据Y进行处理后，无论变量Z与Y之间的关系是确定函数关系还是概率关系，绝不会减少X的不确定性（丢失信息）。 若要使数据处理后获得的