信息伦与编码.pptVIP

* 信息论 信息论 一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。 信息论在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识 第28页，共49页，编辑于2022年，星期二 * 信息论研究的内容 狭义信息论： 研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论： 研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。 广义信息论： 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 第29页，共49页，编辑于2022年，星期二 * 1.3通信系统的模型 第30页，共49页，编辑于2022年，星期二 * 数字通信系统模型 信道 信源 信源编码 加密 信道编码 干扰源 信宿 信源解码 解密 信道解码 加密密钥 解密密钥 u x y k z v z y x 第31页，共49页，编辑于2022年，星期二 * 信源、信宿和信道 信源：向通信系统提供消息u的人和机器。发送消息的源， 离散信源 模拟信源 重点讨论信源输出的描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介 ，如空气、电缆线等等 第32页，共49页，编辑于2022年，星期二 信源编码 大前提：信源的输出是电信号 X=(x1,x2,…xn) 从信息传输的角度看，希望传输效率越高越好，即以最小代价传递尽可能多的信息 假定前提：传送一个序列符号所耗的时间是固定的。 理想情况：每个符号携带的信息同样多，并达到最大 实情：信息分布不均匀 信源编码：对符号序列加以变换，使得变换后的序列信息分布均匀化。 * 第33页，共49页，编辑于2022年，星期二 * 信源编码器与译码器 信源编码器的主要作用 压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 一类是无失真信源编码,适用于离散信源或数字信号； 另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理 第34页，共49页，编辑于2022年，星期二 * 信源编码器与译码器 信源编码器的主要指标 是它的编码效率，即理论上能达到的码率与实际达到的码率之比。 一般来说，效率越高，编译码器的代价也将越大。 信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。 第35页，共49页，编辑于2022年，星期二 第1页，共49页，编辑于2022年，星期二 * 期末总评 期末考试成绩占60％ 平时成绩占20％ 作业 课堂表现：考勤、问答情况等 课堂作业 课程实验占20% 第2页，共49页，编辑于2022年，星期二 使用教材 * 第3页，共49页，编辑于2022年，星期二 * 参考书 1．信息论—基础理论与应用， 傅祖芸编，电子工业出版社，2001 2．信息论与编码，陈运编著，电子工业出版社，2002 信息理论与编码，吕锋等编著，人民邮电出版社，2004 ……………… 第4页，共49页，编辑于2022年，星期二 信息科学 一、信息论：理论基础，主要研究可能性和存在性问题 二、信息技术：主要研究如何实现、怎样实现的问题 信息科学、材料科学和能源科学一起被称为当代文明的“三大支柱”。“没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。” * 第5页，共49页，编辑于2022年，星期二 * 课程内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 第6页，共49页，编辑于2022年，星期二 * 教学目标 香农信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 信源编码 信道编码 第7页，共49页，编辑于2022年，星期二 课程内容安排 第一章 绪论 第二章 信源与信息熵 第三章 信道与信道容量 第四章 信息率失真函数 第五章 信源编码 第六章 信道编码 * 第8页，共49页，编辑于2022年，星期二 绪 论 第一章 第9页，共49页，编辑于2022年，星期二 * 1.1 信息论的形成和发展 1.2信息论研