信息论与编码课件(第一章).pptVIP

信息理论及编码 学科性质 信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。 本课程选用教材 信息论——基础理论与应用 ，傅祖芸 编著，电子工业出版社，2003 课程主要内容 信息概念及信息论的起源、发展、内容 离散信源及其信息测度 离散信道及其信道容量 无失真信源编码 信道编码 教学目标 熟练掌握信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 掌握编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 参考书目 1．信息论与编码，陈运等编，电子工业出版社，2005 2．信息论基础及应用，曲炜，朱诗兵，清华大学出版社，2005 3. 信息理论与编码，吕锋等编著，人民邮电出版社，2004 计分方式 最后期终考试成绩占70％ 平时成绩占30％ 作业 考勤 手机声响 严重违反课堂纪律，视情节轻重扣分 本课程学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程 理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 对学习者的要求 三个重要环节 课前预习 课上认真听讲 课后认真复习消化、作业 经常进行阶段复习 掌握知识的窍诀：反复思维实践 本课程结论 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。 第一章 绪 论 1.1 信息的概念 人类的发展离不开信息 1.1信息的概念 信息不同于消息也不同于信号 信息的特点 信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。 信息的概念 什么是信息？ Shannon信息的定义 “信息是事物运动状态或存在方式的不确定性的描述” 香农信息定义的局限性 实际存在的某些事物要寻找一个合适的概率模型往往非常困难的。 1.2信息论研究的对象、目的和内容 美国科学家Shannon于1948年发表了著名的论文 《A Mathematical Theory of Communication》(通信的数学理论)。 信息论研究的对象、目的和内容 信息论是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 信息论研究的对象 信源：消息的来源 编码器：把消息变换成信号 信道：传递信号的媒介 译码器：把信道输出的信号反变换 信宿：信息的接受端 噪声：信道中的干扰 信息论研究的目的 可靠性：尽可能准确地、不失真地在接受端再现。 有效性：尽可能短的时间和尽可能少的设备来传送一定数量的信息。 保密性：只能让被授权者接受。 认证性：接受者能正确判断所接受的信息的正确性，验证消息的完整性，而不是伪造的和被窜改的。 信息论研究的内容 狭义信息论（香农信息论）：信息的测度、信道容量、信源和信道编码理论 一般信息论：噪声、滤波与预测、估计、保密等 广义信息论：所有与信息相关的领域 概率论基础 无条件概率，条件概率和联合概率的性质和关系 2、完备性 概率论基础 信息能度量吗？ 例1：有人告诉你今天的最高气温是28度，你一定觉得很正常，而有人告诉你今天下冰雹了，你一定吃惊不小。 信息的测度（香农的概率信息） 样本空间：某事物各种可能出现的不同状态，即所 有可能选择的消息的集合。 信息的测度 其中， 为选择符号 作为消息的概率，称为先验概率 信息的测度 后验概率：条件概率 ，接收端收到消息（符号） 后而发送端发的是 的概率。 信息论与编码和其他学科的关系 1）信息论和编码所须的基础知识: 概率论、数理统计、随机过程、矩阵论、电子、计算机基础知识. 2) 需要信息论和编码知识的课程 通信原理、数字移动通信、计算机技术、计算机网络通信、数字图像处理 绪 论 本章的重、难点内容： 知道什么是信息，及其与信号、消息的区别。 通过通信系统的基本模型引出信息论的概念，并掌握该课程开