信息论基础理论与应用第三版傅祖芸绪论.pptVIP

信息论与编码 主讲人： 2 简 介 是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。 奠基人：美国数学家香农（ C.E.Shannon ） 1948 年“通信的数学理论” 3 简 介 ? 信息论的基本问题 — 信息的度量 ? 无失真信源编码定理 — 香农第一定理 ? 信道编码定理 — 香农第二定理 ? 信源编码、信道编码 绪 论 第 1 章 5 1.1 信息的概念 6 情报： 是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识： 一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息： 用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。 几个常见概念 7 信息论中最基本、最重要的概念，既 抽象又复杂 。 ? 信息≠消息： 消息是 表现形式 ，信息是 实质 ； ? 信息≠情报： 情报一般只限于特殊领域，是一类 特 殊的信息 ； ? 信息≠知识： 知识是人们根据某种目的 , 从自然界 收集得来的数据中整理、概括、提取得到的有价值 的信息，是一种高层次的信息。 ? 信息≠信号： 信号是承载消息的物理量。 信 息 8 狭义而言，通信中对信息的表达分三个层次： 信号、 消息、信息。 ? 信号： 信息的 物理表达 ，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 ? 消息 ( 或 符号 ) ： 信息的 数学表达 ，承载了信息， 它是具体物理信号的 数学抽象 。如语言、文字、语音、 图像等。 ? 信息： 更高层次 的哲学抽象 ，是信号与消息的承载 的对象，描述 事物运动状态或存在方式的不确定性。 信息的表达层次 9 什么是信息 ? ? 到目前为止，国内外已有不下百余种流行的说法， 它们都是从不同的侧面和不同的层次来揭示信息的 本质的。 ? 1928 年，哈特莱 (R ． V ． L Hartley) 在《信息传输》一文中提出：发信者所发出的信 息，就是他在 通信符号表 中 选择符号 的具体方式， 主张用所 选择的自由度 来度量信息。 ? 局限性： ? 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ? 没有考虑各种可能选择方法的 统计特性。 10 ? 1948 年，维纳 (N ． Wiener) 控制论创始人维纳在《人有人的用处》一书中 提出：“信息是人们适应外部世界并且使这种适应 反作用于外部世界的过程中，同外部世界进行互相 交换的内容的名称。” ? 局限性： 信息的定义是 不确切 的。 ? 1948 年，香农（ C.E.Shannon ） 发表了一篇著名的论文“通信的数学理论”。 他从研究 通信系统传输的实质 出发，对信息作了科 学的定义，并进行了定性和定量的描述： 信息是事物运动状态或存在方式的不确定性的描 述。 11 香农信息的度量 （ 1 ）样本空间 某事物各种可能出现的不同状态。 （ 2 ）概率测度 对每一个可能选择的消息指定一个概率。 （ 3 ）概率空间 ? 先验概率 p ( x i ) ： 选择符号 x i 作为消息的概率。 ? ? ? ? ? ? ? ? ? ? ? ? ? ) ( ) ( ) ( ) ( 2 1 2 1 n n a p a p a p a a a x P X ? ? 样本空间 概率测度 12 ? 例： 气象预报 甲 乙 ? ? ? ? ? ? ? ? ? ? ? ? ? 1/4 1/4, 1/4, 1/4, 小雨 大雨 阴 晴 p(y) Y ? ? ? ? ? ? ? ? ? ? ? ? ? 8 / 1 , 8 / 1 , 4 / 1 , 2 / 1 ) ( 小雨 大雨 阴 晴 x p X ? “ 甲地晴”比“乙地晴”的不确定性小。 ? 某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于 1, 即预料中肯定会 出现的事件，那它的不确定性就接近于零。 13 对 x i 的不确定性可表示为先验概率 p(x i ) 的倒数的某一函数。 （ 4 ）自信息 （ 5 ）互信息 先验的不确定性减去尚存的不确定性。 后验概率 p ( a i | b j ) ： 接收端收到消息 b j 后而发 送端发的是 a i 的概率。 ) ( 1 log ) ( i i a P a I ? ) ( 1 log ) ( 1 log ) ; ( j i i j i b a p a P b a I ? ? 14 香农定义的优缺点 ? 在现有的各种理解中比较深刻，其 优点： ? 它是一个科学的定义，有 明确的数学模型和定量 计算。 ? 它与 日常用语中的信息的含意是一致 的。 ? 定文 排除了对信息一词