信息论与编码(第三版).pptxVIP

信息论与编码;简 介;简 介;绪 论;1.1 信息的概念 ;情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。 消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。;香农信息的度量;例：气象预报 甲 乙 ; 对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。 （4）自信息 （5）互信息 先验的不确定性减去尚存的不确定性。 后验概率p(ai | bj)：接收端收到消息bj后而发送端发的是ai的概率。;信息的特征;1.2 信息论研究的对象、目的和内容;研究对象：通信系统模型;信源：发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源???输出。重点讨论其描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介。 ;信源编码器 通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 无失真信源编码：适用于离散信源或数字信号； 限失真信源编码：用于连续信源或模拟信号,如语音、图像等信号的数字处理。;信道编码器与译码器;1.3 信息论的形成和发展;