《信息论与编码》第1章 绪论.ppt

信息、消息和信号从上面的讨论中我们可以看出，信息、消息、信号之间有着密切的关系。信息是一切通信系统所要传递的内容，而消息作为信息的载体可能是一种“高级”载体；信号作为消息的物理体现，是信息的一种“低级”载体。作为系统的设计人员，我们接触的只是信号，而这种信号最终要被变成消息才能被大众所接受。*基本通信系统的模型*信源、信宿和信道信源：信源是产生消息(或消息序列)的源，消息通常是符号序列或时间函数。信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。信宿：信宿是消息传递的对象，即接收消息的人或机器。信宿接收的消息的形式与信宿发出的消息可以相同也可以不同，不同时，信宿的消息是信源消息的一个映射。信道：在实际的通信系统中，信道是指传输信号的媒质或通道，如架空明线、电线、射频波束、人造卫星等。重要研究信道容量的问题。*通信系统模型进一步细分信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥*信源编码器与译码器信源编码器的作用是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号；同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的有效性。信源编码器分为两类一类是无失真信源编码,适用于离散信源或数字信号；另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理*信源编码器与译码器信源编码器的主要指标是它的编码效率，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。信源译码器的作用是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。*信道编码器与译码器信道编码主要作用是提高信息传送的可靠性。信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。*密码学研究的内容如何隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性；将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；但也有些密码要求占用较大的信道容量。*问题：能否将三种码(信源编码、信道编码和密码)合成一种码进行编译？提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降；反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有类似情况编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。*从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。*香农与维纳信息论*信息论与其它理论*思考题*信息论研究的内容1、通信的统计理论研究主要研究利用统计数学工具分析信息和信息传输的统计规律。其具体内容有：信息的测度；信息速率与熵；信道传输能力—信道容量。*信息论研究的内容2、信源的统计特性主要包括文字(如汉字)、字母(如英文)的统计特性；语音的参数分析和统计特件；图片及活动图像(电视)的统计特性；其他信源的统计特性。*信息论研究的内容3、编码理论与技术的研究有效性编码：提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。抗干扰编码：提高信息传输的可靠性，主要针对信道统的计特性进行编码；也称信道编码。*信息论研究的内容4、提高信息传输效率的研究功率的节约；频带的压缩；传输时间的缩短，即快速传输问题。5、抗干扰理论与技术的研究各种调制制式的抗干扰性；理想接收机的实现6、噪声中信号检测理论与技术的研究信号检测的最佳准则；信号最佳检测的实现。*1.3信息论的形成和发展*“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(ClaudeE.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。香农应