信息编码期末复习.pptVIP

期末复习——第一章 2011.11 马尔可夫过程的概念 平稳概率 信息的定义 通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。 通常需通过处理和分析来提取。 1. 离散无记忆信源 离散无记忆信源的数学模型为离散型的概率空间，即： 离散无记忆信源的概率密度函数 自信息量：任意随机事件的自信息量定义为该事件发生概率的对数的负值。 联合熵与条件熵： 离散无记忆信源的序列熵与消息熵 定理1-3-1： 香农不等式 离散有记忆信源的序列熵与消息熵 定理1-3-3 对离散、平稳、有记忆信源，下列结论成立: 互信息定义 互信息量是通信系统的信宿从信源所获得的信息量。 定理1-4-1：互信息的性质 互信息量性质的意义 互信息量的对称性说明对于信道两端的随机变量U和V，由V提取到的关于U的信息量与从U中提取到的关于V的信息量是一样的。只是观察者的立足点不同，对信道两端的随机变量U和V之间的信息流通的总体测度的两种不同的表达形式而已。 熵、条件熵、联合熵与互信息的关系 互信息的定理 定理1-4-2 当信道给定，即信道转移概率Pji固定，互信息I(U ; V)是信源概率分布pi的上凸函数。 当信源给定，即信源分布概率pi固定，互信息I(U ; V)是信道转移概率Pji的下凸函数。 定理1-4-2说明:信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）pi ，使输出端获得的信息量最大; 信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。 信息不增性原理 在信息处理中，经常要对所接收到的信息Y归并或分类为信息Z。 数据处理过程中只会失掉一些消息，绝不会创造出新的信息，即信息不增性。 第二章 限失真信源与信息率失真函数 失真测度及其性质 R(D)函数的定义 香农定义了信息率失真函数R(D)，指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)值。 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； R(D) 信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。 研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。 第三章 信道与信道容量 3.1.2 信道描述 类似于对信源的统计描述，对信道而言描述它的三要素是： 信道输入统计概率空间：［XK，p(X)］， 信道输出的统计概率空间：［YK，q(Y)］， 信道转移概率矩阵：P(Y |X)。 即：{ ，P ， }， 它可简化为： 信道容量的定义 一、强对称信道 强对称信道的两项重要特征： ① 其输入消息与输出消息相等，均为n个，即m=n。且信道中总的误差概率ε＝Pe,它将ε平均分配给(n-1)个传输的错误。 ② 信道转移概率矩阵中的每一行都是第一行的重排列，即信道对输入是对称的；每一列都是第一列的重排列，即信道对输出也是对称的。 条件②就对称而言，比条件①更加本质，更加重要。若放弃条件①，保留条件②，我们就可以得到一般性的对称信道。 二、对称信道 对这类一般对称信道有如下定理： 定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。 结论：对于离散单个消息对称信道，C为最佳输入分布时的最大输出熵。根据最大熵定理，输出分布为等概率时其熵最大。同时由于信道的对称性，此时输入的最佳分布必然为等概率分布。 对称信道不要求输入分布和输出分布相同，而只要求各自为等概率分布。显然，强对称信道是对称信道的特例。 三、 准对称信道 假如我们再将条件放松一些，比如信道的输出集合可以划分为若干个不相等的且具有对称信道性质的子集合。 定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值: 信道容量代价函数 信道冗余度 第4章 信息与通信系统的优化 系统优化的实质 研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。