信息论及编码重点.docVIP

信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行讲究的科学，它设计信息度量、信息特性、信息传输率、信道容量、干扰对信息传输的影响等方面的知识。 信息是各种事物运动的状态状态变化方式。信息是抽象的意识，它是看不见摸不到的。消息是具体的，它载荷信息，但他不是物理性的。信号是消息的物理体现。 信号是信息的载体在通信系统中，传送的本质内容是信息，发送端需将信息表示称具体的消息，再将消息载至信号上，才能在实际的信号系统中传输。 一般来说，通信系统的性能指标主要是有效性、可靠性、安全性、经济性。 符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同。不确定度是信号源符号固有的，不管符号是否发出，而自信息量是信源符号发出后给予收信者的。为了消除该符号的不确定度，接受者需要获得信息量。 冗余度来自两个方面：一是信源符号的相关性，相关程度越大，则信源的实际熵越小，越趋于极限熵H∞（X）；反之，相关程度越小，信源实际熵就增大。二是信源符号分布的不均匀性，当等概率分布时，信源熵最大。 根据信道中所受噪声种类的不同，可分为随机差错信道和突发差信道。在随机差错信道中，噪声随机独立地影响每个传输码元，如以高斯白噪声为主体的信道；另一类噪声干扰的影响则是前后相关的，错误成串出现，这样的信道称为突发差错信道。 信道中平均每个符号所能传送的信息量定义为信道的信息传输率R ，即R=I（X；Y)=H(X)—H（X/Y)bit/符号。信道容量C=max I（X；Y) ，max下面有p( ai ) 信源发出的消息一般要通过信道来传输，因此要求信源的传输与信道的输入匹配。（1）符号匹配：信源输入的符号必须是信道能够传送的符号，即要求信源符号集就是信号的入口符号集或入口符号集的子集，这是实现信息传输的必要条件，可在信源与信道之间加入编码器予以实现，也可以在信源压缩编码时一步完成。（2）信息匹配：对于某一信道，只有当输入符号的概率分布p(x)满足以定条件时才能达到其信道容量C，也就是说只有特定的信源才能使某一信道的信息传输率到达最大。一般情况下，信源与信道连接时，其信息传输率R=I（X;Y）并未达到最大，即信道没被充分利用。当信源与信道连接时。若信息传输率达到了信源容量。则称此信源与信道达到匹配；否则认为信道有冗余。信道冗余度定义为信道绝对冗余度=C—I（X;Y)，其中C是该信道的信道容量，Ｉ（Ｘ；Ｙ）是信源通过该信道通过实际传输的平均信息量。信道绝对冗余度=1—I（X;Y) / C。 信道容量定义为C=maxI（X;Y）。它表示信道的最大传输能力，反映信道本身的特性，应该与信源无关。但由于平均互信息量的信源的特性有关，为了排除信源特性对信道的影响。采用的做法是在所有的信源中以那个能够使平均互信息量达到最大的信源为参考，从而使信道容量仅仅与信道特性有关，信道不同，信息容量亦不同。 信息率失真函数R（D）=min/PD I(X；Y）。它是保真度条件下信源信息量可被压缩的最低限度，反映信源本身的特性，应该与信道无关。同样地，由于平均互信息量与信道的特性有关，在这里信道即为有失真的信源编码器，为了排除信源编码器的特性对信息率失真函数的影响，采用的做法是在所有的编码器中以那个能够使平均互信息量达到最小的编码器为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，R（D）亦不同。对信道容量和信息失真率函数作这种处理是为引入它们的目的服务的。 引入C，是为了解决所在信道中传送的最大信息量到底有多大的问题，他给出了信道可能传输的最大信息量，是无差错传输的上限。在第六章将会看到，为了得到错误概率任意小的传输，应该采用信道编码。引入C的概念后，说明其信息传输率无限接近于C而又使具有任意小错误传输率的信道编码是存在的，可见引入C能够为信道编码服务，或者说为提高通信的可靠性服务。 引入R（D），是为了解决在允许失真度D的条件下，信源编码到底能压缩到什么程度的问题，它给出了保真度条件下信源信息率可被压缩的最低限度，可见引入它能够为信源的压缩编码服务，或者说为提高通信的有效性服务。 由于信源符号之间存在分布不均和相关性，使得信源存在冗余度，信源编码的主要任务是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短码字的方法。信源编码的基本途径有两个：使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前者是可逆编码的基础。可逆是指信源符号转换为代码后，可从代码无失真地恢复原信源符号，当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。编码定理不但证明