2020信息理论与编码讲课.ppt

31 1.3 信息论的形成和发展 信息论与编码 2 课程内容 ? 信息论的基本问题 — 信息的度量 ? 无失真信源编码定理 — 香农第一定理 ? 信道编码定理 — 香农第二定理 ? 限失真信源编码定理 — 香农第三定理 ? 信源编码 ? 信道编码 3 教学目标 ? 香农信息论的基本理论、概念和方法； – 信息的统计度量，离散信源，离散信道和信道 容量 ? 编码的理论和实现原理 – 信源编码与信道编码 ? 教学重点 – 信息度量 – 信源描述 – 信道容量 – 纠错编码的理论及实现 4 参考书 1 ． 信息论 — 基础理论与应用 ， 傅祖芸编，电子 工业出版社， 2001 2 ． 信息论与编码 ，陈运编著，电子工业出版社， 2002 3. 信息理论与编码 ，吕锋等编著，人民邮电出 版社， 2004 5 计分方式 ? 最后期终考试成绩占 60 ％ ? 平时成绩占 30 ％ – 作业：一次不交扣 1 分，无故缺席一次扣 1 分， 迟到一次扣 0.5 分 – 手机声响扣 1 分 – 严重违反课堂纪律，视情节轻重扣分 ? 课程小结报告 (800-1000 字 ) 占 10% 绪 论 第一章 7 1.1 信息的基本概念 8 什么是信息 ? ? 信息 ： 一个既复杂又抽象的概念 ? 广义 ： 消息、情报、知识 ? 技术术语 ： 计算机处理 ( 通信传输 ) 的对象 —— 数据、文字、记录 ? 科学名词 ： 统计数学、通信技术 – 用严格的数学公式定义的科学名词，它与内 容无关，而且不随信息具体表现形式的变化 而变化，因而也独立于形式。 – 它反映了信息表达形式中 统计方面 的性质， 是一个统计学上的抽象概念。 9 什么是信息 ? ? 信息是指各个事物运动的状态及状态变 化的方式。 ? 人们从来自对周围世界的观察得到的数 据中获得信息。 ? 信息是抽象的意识或知识，它是看不见、 摸不到的。 ? 人脑的思维活动产生的一种想法，当它 仍储存在脑子中的时候它就是一种信息。 10 信息论和信息技术研究什么样的问题？ ? 信息不是静止的，它会产生也会消亡，人们需 要获取它，并完成它的传输、交换、处理、检 测、识别、存储、显示等功能。研究这方面的 科学就是信息科学。 ? 信息论是信息科学的主要理论基础之一。它研 究信息的基本理论，主要研究 可能性 和 存在性 问题，为具体实现提供理论基础。 ? 信息技术主要研究如何实现、怎样实现的问题。 11 信息论 ? 信息论 – 一门应用概率论、随机过程、数理统计 和近代代数的方法，来研究信息传输、 提取和处理系统中一般规律的学科。 ? 信息论 是在 信息可以量度 的基础上 , 研究 有 效地 和 可靠地 传递信息的科学 , 它涉及信息 量度、信息特性、信息传输速率、信道容 量、干扰对信息传输的影响等方面的知识 12 信息、消息和信号 ? 信息 – 是事物运动状态或存在方式的 不确定性 的描 述。 ? 消息 – 是指包含有信息的语言、文字和图像等 ? 信号 – 是消息的物理体现。 ? 在通信系统中，实际传输的是信号，但本质内 容的是信息。信息包含在信号之中，信号是信 息的载体。通信的结果是消除或部分消除不确 定性，从而获得信息。 香农信息的定义 13 信息的特征 ? 信息的基本概念在于它的 不确定性 , 任何 已确定的事物都不含信息。 – 接收者在收到信息之前，对它的内容是不知 道的，所以，信息是新知识、新内容； – 信息是能使认识主体对某一事物的未知性或 不确定性减少的有用知识； – 信息可以产生，也可以消失，同时信息可以 被携带、贮存及处理； – 信息是可以量度的，信息量有多少的差别 14 ? 例：气象预报 ? 甲 ? 乙 ? ? ? ? ? ? ? ? ? ? ? ? ? 4 / 1 , 4 / 1 , 4 / 1 , 4 / 1 ) ( 小雨 大雨 阴 晴 y p Y ? ? ? ? ? ? ? ? ? ? ? ? ? 8 / 1 , 8 / 1 , 4 / 1 , 2 / 1 ) ( 小雨 大雨 阴 晴 x p X ? “ 甲地晴”比“乙地晴”的 不确定性 来的 小 ? 某一事物状态出现的概率越小，其不确定 性越大。某一事物状态出现的概率接近于 1, 即预料中肯定会出现的事件，那它的不 确定性就接近于零。 15 香农定义的信息 ? 香农定义的信息概念在现有的各种理解中，是 比较深刻的，它有许多 优点 。 – 它是一个科学的定义，有明确的数学模型和 定量计算。 – 它与日常用语中的信息的含意是一致的。 – 定文排除了对信息一词某些主观上的含意 ? 香农定义的信息也有其局限性，存在一些 缺陷 – 定义的出发点是假定事物状态可以用一个以 经典集合论为基础的概率模型来描述。 – 没有考虑收信者的主观特