信息论及编码2012.ppt

信息论与编码基础 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. A little learning is a dangerous thing Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码基础 离散信道 一、信道模型及分类 二、信道疑义度与平均互信息 三、平均互信息的性质 四、离散无记忆的扩展信道 五、信道容量 六、信源与信道的匹配 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码基础 离散信道 平均互信息 接收到每个输出 符号后获得的关 于X的平均信息量 信息传输率 R bit/sign Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码基础 离散信道 利用詹森不等式 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 结论： 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。 信息论与编码基础 离散信道 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码基础 离散信道 接收者通过信道获得的信息量不可 能超过信源本身固有的信息量。 0≤I(X;Y)≤H(X) Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 极值性 I(X;Y)≤H(X) I(Y;X)≤H(Y) 从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。 当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。 当X和Y相互独立时：H(X/Y) =H(X)， I(Y;X)=0。从一个事件不能得到另一个事件的任何信息，这等效于信道中断的情况。 信息论与编码基础 离散信道 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论与编码基础 离散信道 发出X后获得的关 于Y的平均信息量 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 4、与各类熵的关系 信息论与编码基础 离散信道 损失熵 噪声熵 散布度：表示信道输入信号由于干扰作用 在输出端表现的散布范围。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.1.5 各种熵之间