第一概论——信息论与编码.ppt

信源 信 道 信宿 噪声源 信源编码 加密 信道编码 调制器 解调器 信道译码 解密 信源译码 通信系统模型 一般信息论 香农 信息论 噪声理论 调制 理论 信号滤波预测理论 统计检测估计理论 1 信息论研究对象 香农信息论 信源熵 信道容量 率失真函数 信源编码 信道编码 密码 香农信息论 2 所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，都属于广义信息论的范畴。 广义信息论 3 总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。 小 结 信息的理解，信息、信号、消息的联系，信息的性质； 信息论的研究内容及意义，通信系统模型； 预习第2章中2.1.1,2.1.2 信息论与编码 Information Theory and coding 工程学院 信息技术教研室 课程类型：专业教育选修课 学 时：32学时（1－6周） 考 核：平时成绩20％（作业、考勤、测验） 期末考试80％（院级闭卷） 几点要求：上课尽量不要迟到 课堂上请将手机静音 课程简介 学习目的及意义 最简单的通信系统 信 源 信 道 信 宿 信源熵 信源包含多少信息？ 信道中传输的是什么形式？ 信道能传送多少信息？ 信宿接收到的信息是否正确？ 编码 信道容量 检纠错 学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。 建议： 上课时紧跟老师思路积极思考，提高听课效率 记住概念，知道物理含义及其关系 预习和复习 自己独立完成作业 第1章 概 论 概 论 信息的一般概念 信息的分类 信息论的起源、发展及研究内容 信息：认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。 （1）信息是普遍存在的。 （2）信息与物质。 （3）信息与能量。 （4）人类认识事物，变革事物必须要有信息。 信息载体：运载信息的物质。 概 论 信息论创始人： C.E.Shannon(香农，1916年4月30日—2001年2月26日) 美国科学家 主要论文有： 1938年的硕士论文《继电器与开关电路的符号分析》， 1948年的《通讯的数学原理》，1949年的《噪声下的通信》。 概 论 信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。 一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。” 信息的存在 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息 ……。 信息的存在 总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。 色彩 视觉 果香 嗅觉 苦药 味觉 知识 听觉 冷热 触觉 信息的存在 1928年,美国数学家哈 特 莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 ？信息究竟是什么呢？ 事隔20年， 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。 美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》 中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。 最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。最广义的信息，使用范围也最广。 “本体论”定义 引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。 “认识论”定义 即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。 全 信 息 同时考虑事物运动状态及其变化方式的外在形式、内在含义和效