zyw1信息论绪论PPT.pptVIP

主讲教师：张玉薇;教材及参考书;信息论：由通信技术、概率论与数理统计、随机过 程相结合的一门科学。 奠基人：美国科学家 香农。 所涉及的知识遍布信息科学这一新兴领域。;第一节 信息论的概念;信息无处不在，存在与生活之中。 人类社会存在和发展，每时每刻，信息都在产生、存储、消亡。 人类生活一时一刻都离不开接受信息、传递信息、处理信息、利 用信息。;容易和信息混淆的几个概念;●知识就是信息，但是信息未必是知识。 ●情报是知识，其含义要比知识、信息狭窄的多。 ●消息能被人体器官感知，消息包含信息，是信息的载体。 ●信号是物理量的，如电信号、光信号、声音信号、生物信号，在通信过程中直接传播。 ;数据 载有信息的可观测、可传输、可存储及可处理的信号均称为数据 ;信息 定义 广义定义：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。 概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量。 香农信息：信息是事物运动状态或者存在方式的不确定性的描述。;信息 信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的;信息的性质;信息、消息和信号的关系;;Well done！！！;？0 信息;信息 性质 信息是无形的 信息是可共享的 信息是无限的 信息是无所不在的 信息是可度量的 ;信息的基本特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。其特征有： 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别。 ;通信过程是一种不确定性消除的过程。不确定性的消除，获得了信息。 原来的不确定性消除的越多，说明通信过程获得的信息量越大。 1如果原来的不确定性完全消除了，说明通信过程获得了全部的信息。 2若不确定性部分消除，说明通信过程获得了部分信息。 3若原来的不确定性没有消除，说明通信过程没有获得任何信息。;具有不确定性的事件就是随机事件。 不确定性就是随机性。 因此，通信过程可以用研究随机事件的数学工具 （概率论和随机过程）来测度不确定性的 大小;不确定性的大小和概率之间的关系; 按照信息论或控制论的观点，在通信和控制系统中传送的本质内容是信息，系统中实际传输的则是测量的信号，信息包含在信号之中，信号是信息的载体。信号到了接收端（信息论里称为信宿）经过处理变成文字、语声或图像等消息，人们再从中得到有用的信息。 ;信息论研究的对象是：通信系统模型-------数学化的通信系统。即通过研究通信系统中消息的传输和处理来研究信息传输和处理的规律。 研究信息传输系统的目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性。;通信系统的模型;通信系统的物理模型; 通信系统的几个重要部分;模型中各个部分的作用及需要研究的核心问题;信宿 信宿是接收消息（V）的人和机器 ;4. 干扰源 是整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况。 对于任何通信系统而言，干扰的性质、大小是影响系统性能的重要因素。 ;通信系统的性能指标及相应的编码问题;信源编译码器 信源编码器的作用 是把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组，这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗余度（即多余度），以提高通信系统传输消息的效率。 ; 信源编码器的主要指标 是它的编码效率，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。 ;信道编译码器 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力； ;密码学研究的内容 如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统的安全性； 将明文变换成密文，通常不需要增大信道容量，例如在二进码信息流上叠加一密钥流； 但也有些密码要求占用较大的信道容量。 ;问题：能否将三种码（信源编码、信道编码和密码） 合成一种码进行编译？ 提高有效性必须去掉信源符号中的冗余部分，此时信道误码会使接收端不能恢复原来