第2-3章+信源编码解说.ppt

现代数字通信Ⅰ(第二、三章) 中国科学院大学 电子、电气与通信学院 第2章 概率论与随机过程 ☆2.1 概率(本科课程) ☆2.2 随机过程(本科或研究课程) 本章将对概率和随机过程作一扼要介绍,请参 考J.G.Proakis著 数字通信 3.1.1香农信息的定义 1948 年，香农在“通信的数学理论”中定义了信息是事物运 动状态或存在方式的不确定性, 并提出了信源和信道 编码定理; 称为香农的分离理论, 创建了信息论，为通信的 发展奠定了理论基础。 香农将信息量与信号源符号的概率分布联系起来, 从通信 出发首先给出了信息定义: 信息是亊物X (x1，x2，…， xN) 运动状态或存在方式的不确定性。不确定性即随机 性用数学表示它的信息量大小就是与事物的随机变量Xi 的对应概率P(Xi)的倒数取以2为底的对数即: I(Xi)=log(1/p(Xi) 3-1-2 为随机变量Xi的自信息。自信息是指某一信源发出某一 消息所含有的信息量。所发出的消息不同, 它们所含有的 信息也就不同。自信息是一个随机变量, 不能用来作为对 整个信源的信息测度。 3.1.1 熵的世界--信息熵 熵是一个极其重要的物理量, 但却又以其难理解而 闻名于世(麦克斯韦妖,永动机之幻想… )。 克劳修斯1865年从热力学二定理首先引入熵概念 :S=Q/T 如果将信源所有可能事件的信息量进行平均，就得 到了信息熵(entropy)，熵就是平均信息量。对事件X 的集合 ，香农1948年从通信概念 出发定义自信息的数学期望为信源的信息熵, 即: 3-1-3 3.1.1 熵的世界--信息熵 因为p(xi)可以为零，为此定义中p(xi)logp(xi)成为不定式， 所以当p(xi)=0时，指定p(xi)log p(xi)等于零。 信源的信息熵H(X)是从整个信源的统计特性来考虑的。 它是从平均意义上来表征信源的总体信息测度的。对于 某特定的信源在给定的概率空间P(Xi), 信息熵H(X)是一 个确定的数值。 香农开创性地引入了“信息熵”的概念，从而把传送信息 所需要的比特数与信号源本身的统计特性联系起来。这 个工作的意义甚至超越了通信领域，而成为信息储存， 数据压缩等技术的基础。 3.1.2 信源编码定理(变长最佳编码定理) ? 定长编码定理 一个熵为H(x)的离散无记忆信源，若对信源长为L的符号序列x1, x2,…xi, …xL进行等长编码，设码字是从M种可能值中，选取K个符号组成。对任意ε0，必须在δ0，只要 L为符号序列数 3.1.3变长最佳编码定理 则当L足够大时，几乎可实现无失真编码，即译码差错 小于 。 反之，若 则不可能实现无失真编码，而当L足够大时，译码几乎必定出错。 这个定理的前一部份是正定理，后一部份为逆定理。 证明(略3.3证) ? 变长编码定理 若一个离散无记忆信源X具有熵为H(X)，并有n个码元的码符号 3.1.4熵和平均码字长度的概念及应用 则可找到一种无失真编码方法，构成唯一可译 码，其平均码长满足 证明(略3.3证) ☆理解应用例子 1、图像熵(Entropy) 设数字图象象素灰度级集合为X=(x1,x2…xi…xn)，其对应的概率分别为p(x1),p(x2)…p(xi)…p(xn)。按信息论中信源信息熵定义，数字图象熵H(X)为： 4. 补充:克拉夫特(Kraft)不等式 变长编码是常用的字符(概率大的)或信源符号用短码字来进 行编码。不常用的字符(概率小的)用较长码字表示以保证字 符的可译性。关于最小可取长度，存在一个与概率无关的边 界。这就是克拉夫不等式。 推论 （克拉夫不等式） ☆集合A上任意一一映射的编码均满足 ☆如果满足上述不等式，则存在一种前缀码与之对应。 证明： 我们需要针对任意单义可译码证明第一条结论，而不 是局限于前缀码。 首先， 4. 补充:克拉夫特(Kraft)不等式 令 ，同法设置 。因为编码是一一映， #{..} 中元素数目不会超过 。 因为等式右端值趋近于N，所以等式左边不能指数式变化，故左边括号内值应该