信道容量讲义.pptVIP

计算机工程系通信教研室 信息论基础-信源熵 例题：已知离散有记忆信源中各符号的概率空间为 现信源发出二重符号序列消息 ，这两个符号的关联性用条件概率 表示，并由下表给出。求信源的序列熵和平均符号熵。 信息论基础-信源熵 9/11 2/11 0 1/8 3/4 1/8 0 2/9 7/9 解：条件熵为 单符号信源熵为 信息论基础-信源熵 发二重符号序列的熵为 平均符号熵为 比较上述结果可知： ，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由于符号之间存在相关性造成的。 信息论基础-信源熵 对离散平稳信源，其联合概率具有时间推移不变性，此时有如下结论： （1） 是L的单调非增函数。 （2） （3） 是L的单调非增函数。 （4）当 时， 称为极限熵，又称为极限信息量。 信息论基础-信源熵 于是有： 式中， 为等概率无记忆信源单个符号的熵， 为一般无记忆信源单个符号的熵， 为两个符号组成的序列平均符号熵，依此类推。 结论（4）从理论上定义了平稳离散有记忆信源的极限熵，对于一般的离散平稳信源，实际上求此极限值是相当困难的。但对于一般的离散平稳信源，由于取L不很大时就能得出非常接近 的 因此，可用条件熵或者平均符号熵作为平稳信源极限熵的近似值。 信息论基础-信源熵 数据处理中平均交互信息量的不增性： 在一些实际的通信系统中，我们常常需要在信道输出端对接收到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可看成是一种信道，它与前面传输数据的信道是串联的关系。 信息论基础-信源熵 图2.2 串联信道 如图2.2所示的串联信道，X是输入消息集合，Y是第一级信道输出，Z是第二级数据处理后的输出消息集合，可以证明： 第 一 级处理器 X 输入 第 二 级处理器 Y Z ? 信息论基础-信源熵 这就说明，从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X；Z)，总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量 I(X；Y)。如果第二级信道是数据处理系统，则对接收到的数据Y进行处理后，无论Z是Y的确定对应关系还是概率关系，决不会减少关于X的不确定性。数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均交互信息量的不增性。 信息论基础-信源熵 例题: 二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产生误码，用符号表示下列事件： ：一个“0”发出； ：一个“1”发出； ：一个“0”收到； ：一个“1”收到。给定下列概率： 信息论基础-信源熵 解：（1）题目的要求是在已知输入为 的条件下，收到符号能得到的信息量，也就是说，要知道在已知输入为 的条件下，输出符号所具有的不确定度，即条件熵 可求出 故： 信息论基础-信源熵 因此 信息论基础-信源熵 例题:二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产生误码， 求： （1）已知发出一个“0”，收到符号后得到的信息量； （2）已知发出的符号，收到符号后能得到的信息量； （3）知道发出和收到的符号能得到的信息量； （4）已知收到的符号，被告知发出的符号得到的信息量。 信息论基础-信源熵 2.3 连续信源的熵和互信息 2.3.1 连续信源熵和互信息 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度 来描述。此时，连续信源的数学模型为： 其中，R是全实数集，是变量X的取值范围。 对这个连续变量，可以用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息度量可以用离散变量的信息度量来逼近。 信息论基础-信源熵 把连续信源概率密度的取值区间[a,b]分割成n个小区间，各小区间设有等宽 ，那么，X处于第 区间的概率 是： 其中， 是 到 之间的某一值。当 是x的连续函数时，由积分中值定理可知，必存在一个 值使上式成立。 信息论基础-信源熵 此时，连续变量X就可以用取值为 的离散变量