信息论与编码(第三版)要点解析.ppt

信息论与编码 简 介 是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。 简 介 绪 论 第1章 香农信息的度量 （1）样本空间 某事物各种可能出现的不同状态。 （2）概率测度 对每一个可能选择的消息指定一个概率。 （3）概率空间 先验概率p(xi)： 选择符号xi作为消息的概率。 例：气象预报 甲 乙 对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。 （4）自信息 （5）互信息 先验的不确定性减去尚存的不确定性。 后验概率p(ai | bj)：接收端收到消息bj后而发送端发的是ai的概率。 信息的特征 信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能； 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息的存在具有普遍性、无限性、动态性、时效性和相对独立性； 信息可以产生，也可以消失，同时信息可以被传递、转换、扩散、复制、贮存、分割，具有可共享性； 信息是可以量度的，信息量有多少的差别。 研究对象：通信系统模型 信源、信道、信宿 信源：发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源的输出。重点讨论其描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介。 信源编码器与译码器 信源编码器 通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 无失真信源编码：适用于离散信源或数字信号； 限失真信源编码：用于连续信源或模拟信号,如语音、图像等信号的数字处理。 信道编码器与译码器 信道编码 主要作用是提高信息传送的可靠性。 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。 信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。 信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。 信息论的形成 信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 简 史 现代信息论是从20世纪20年代奈奎斯特和哈特莱的工作开始的： 1924年奈奎斯特(Nyquist)的 “影响电报速率因素的确定” 。 1928年哈特莱(Hartley) 的“信息传输” 一文研究了通信系统传输信息的能力，并给出了信息度量方法。 1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题。 1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性，1949年香农“噪声中的通信”，两论文奠定了现代信息论的理论基础。 此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。 1、随机变量描述的信源（单符号） 特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是有限的或可数的,可用离散型随机变量X描述。 数学模型：设每个信源符号ai出现的(先验)概率p(ai) (i=1,2,…,q) 满足： 1）平稳信源 特点: 信源输出的消息由一符号序列所组成。 可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关 。 离散平稳信源：每个随机变量Xi (i＝1,2,…,N)是取值离散的随机变量。 连续平稳信源：每个随机变量Xi (i＝1,2,…,N)是取值连续的随机变量。 2）离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立。 性质： 独立－P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi) （下标1-N为时间标志） 3）离散无记忆信源的N次扩展信源 信源X的各输出Xi间统计独立、且取值同一符号集A。该信源 输出的N维随机矢量X为离散无记忆信源X的N次扩展信源。 此扩展信源取值为符号集?i ＝(ai1ai2…aiN), 其中 (i1 , i2 ,…,iN =1,2 , …,q)， 其数学模型是X信源空间的N重空间： 4）有记忆信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的随机序列X中，各随机变量Xi之间相互依赖。