信息论与编码第1章 绪论课件.ppt

信息论与编码技术 课程主要内容 信息的定义和性质 信道容量 离散无记忆信源无失真编码定理和方法 信道编码定理 线性分组码 第一章 绪论 1.1信息论的形成与发展 信息论 (Information Theory)是通信中的数学理论，是研究信息的传输、存储和处理的科学，它回答了两个根本问题(Fundamental Questions): 数据压缩可以达到何种程度(无损压缩受到熵的限制，而有损压缩受到信息率失真理论的制约)。 通信系统的最大信息传输速率是多少? (不会超过信道容量) 。 信息论主要讨论存在性问题，具有重要的指导意义和实际意义。 信息论的起源 开始于香农(Shannon) 1948年发表的论文“通信中的数学问题”(A Mathematical Theory of Communication)。 香农是信息论的奠基人。 香农的贡献： 1、用概率统计方法对通信系统进行了研究 2、通信系统传递的对象是信息 3、对信息进行了科学的定量描述，提出了熵的概念。 1.1信息论的形成与发展 信息论的基本任务 1948年，shannon论文 “通信中的数学问题” 所提出的基本任务是：设计有效而可靠的通信系统。信息论为通信系统的设计提供理论支持。 1、可靠 使信源发出的消息，经过传输后，尽可能准确无失真、或限失真在收端再现。 度量：误码率 2、有效 用尽可能短的时间或尽可能少的设备来传输最多的消息。（带宽、磁盘空间） 度量：速率，速率能无限提高吗？ 可靠和有效的折中。shannon将通信系统分为5部分： 香农信息论提出的通信模型 五大部分： 1、信源 2、编码器 3、信道 4、译码器 5、信宿 干扰源 信息、消息、信号 信息:表示事物的运动状态和状态变化的方式，是抽象的意识或者知识，是看不见、摸不着的。 比如人的想法，对事物的认识等等。 消息：是指包含信息的语言、文字和图像等，是信息的载体。 信号：消息的具体物理体现，信号是消息的载体，将消息转换为信号才能够在信道中传输。 信息 消息 信号 待传输； 特点：抽象； 信息的表现形式； 文字，图像，声音等； 信号的变化描述消息； 信息蕴含在消息中，信号是物理量，用来承载信息。 信息的特点：不确定性 信息论研究范围 狭义信息论：信息度量、信息特征、信息传输速率、信道容量、干扰对信息传递的影响等等，本课程基于狭义信息论。 广义信息论 ：还要研究信号设计（如信号分集），噪声理论——不同环境下噪声统计特性研究、信号检测与估值等等。 1.2 通信系统的模型 通信的基本问题：在存储或者通信等情况下，精确或者近似再现信源发出的消息。 一般模型 干扰源 香农信息论的通信系统模型,研究从发端（信源）到收端（信宿）有多少信息被传输。 通信过程： 信源发出的消息，经编码器变为二进制数串，经由信道传输；到了收端，经过译码，变为计算机或者人（信宿）能够理解的消息。 通信系统设计的核心问题：信源、信道两个编、译码器的设计。 因为信源、信道随机特性不同，为了更好地研究这两个编译码器，将通信系统的模型进行了细分。 通信系统模型的进一步细分 信源 信宿 信源编码器 信道编码器 调制器 信道 干扰源 信源译码器 信道译码器 解调器 信道编码器 信道译码器 离散输出 离散输入 从信源编码器输出到信源译码器输入之间形成等效离散信道。 信 源 定义：产生消息的来源，可以是文字、语言、图像等； 输出形式：符号形式表示具体消息，是信息的载体 ； 分类：连续的，离散的； 基本特点：具有随机性。描述其使用概率。 主要研究其统计规律和信源产生的信息速率。 1.2 通信系统的模型 信源编码器 信源编码实质是压缩，减少信息率 解决通信有效性问题，提高信息传输的效率； 方法：去冗余 1.2 通信系统的模型 信源符号 码序列 信源编码器 相关性减弱 相关性强 信源编码 分类 1、无失真编码（无损），适用于数字型号 无失真编码定理，1948，香农 2、限失真编码（有损），适用于模拟信号 限失真编码定理，1959，香农 回答了信源压缩能够达到什么程度。 1.2 通信系统的模型 无失真编码：重建符号与信源发送符号一致，即编码器输出码字序列与信源发送序列一一映射，熵不变； 限失真编码：重建符号与信源发送符号不完全一致；编码器输出码字序列与信源输出符号序列之间不是一一映射关系，出现符号合并，使得重建符号的熵减少了。 信 源编码器 编 码信 道 信 源译码器 信源符号（序列） 重建符号（序列） 信道编码器 通过添加冗余位，进行检错、纠错 信道编码的原则：尽量小的误码率，尽量少的