[信息与通信]2 无损压缩.ppt

上节课内容回顾 信源编码（数据压缩）：利用信源内在的结构，用最紧致的方式表示信源数据 信源编码的两大步骤 信源建模 编码 信源编码的简单分类 无损编码 有损编码 第二章：无损编码的数学基础 信息论简单回顾 信源模型 编码理论（下节课） 信息论概述 信息 熵 自信息量 假设事件A为某随机实验的输出集合， 为事件A出现的概率，则与A相关的自信息(self-information)定义为 以2为底，单位为比特（bit) 以e为底，单位为奈特（Nat) 1Nat=1.44bit 以10为底，单位为哈特（Hart) 1Hart=3.32bit 直观含义：事件发生的不确定，或事件发生后消除的不确定性 性质：如A、B为两个独立的随机事件， 则 自信息量 例2.2.1：令H和T分别表示抛掷硬币的输出 若硬币为公正的，则 若硬币不公正，假设 则 信息熵（平均自信息） 假设独立事件 为某实验 的输出的集合，使得 其S 为样本空间，则与该随机实验相关的平均自信息（average self-information）定义为 该值被称为与实验相关的熵（entropy）。 直观含义：每出现一个事件所给出的平均信息量 信息熵 如果实验为信源，该信源从集合A产生符号 ，则熵表示编码该信源输出所用二进制符号的平均数量，单位为bit/符号 Shannon证明：熵是无损编码的下界 A：信源的字母表（alphabet） 对字母表为 、产生序列 的通用信源S，熵为 其中 为来自信源长度为n的序列。 信息熵 通常，不可能计算一个物理信源的熵，所以我们只能估计熵。熵的估计取决于对信源序列结构（信源模型）的假设。 如果序列 中每个元素为独立同分布（iid），则 信息熵 例：考虑序列：1 2 3 2 3 4 5 4 5 6 7 8 9 8 9 10 假设每个符号出现的概率为 假设序列为iid，则序列的熵为一阶熵，即 若假设序列为相关，即假设模型为 ，残差序列变为1 1 1 -1 1 1 1 -1 1 1 1 1 1 -1 1 1，概率分布为 信息熵 可以看到，数据的结构的知识可以帮助“减少熵”。 引号：信源的熵表示信源产生的信息的度量。只要信源的信息保持（不管以何种方式表示），熵保持不变。因此减少的是对 熵的估计。 实际应用中数据的“真正”结构通常未知，但数据结构的知识总是可以帮助我们估计信源真正的熵。 理论上， 需要计算无限大的数据块上的熵，上述熵称为极限熵。 信息熵 例：考虑序列：1 2 1 2 3 3 3 3 1 2 3 3 3 3 1 2 3 3 1 2 假设每次看一个符号 熵为1.5 bits/symbol。该序列包含20字符，共需30比特。 若每次看两个符号，则只有两个符号：1 2 和3 3， 熵为1 bit/symbol。该序列包含10字符，共需10比特。 信源模型 好的信源模型：模型与真实情况更接近 用助于估计信源的熵 带来更好的压缩算法 信源模型 物理模型 统计模型 离散无记忆模型 联合信源模型 Markov模型 组合信源模型 物理模型 物理模型：数据产生的物理过程 语音：语音产生的物理过程 居民用电量：居民的生活习惯 用信源的物理模型预测数据，最后编码残差即可 但通常数据产生过程太复杂，此时可以根据对数据统计的经验观察得到模型——统计模型 统计模型 抽象成随机过程 不同的随机过程导出不同的信源模型 随机变量前后是否独立：无记忆信源/有记忆信源 特别的：与Markov过程对应的Markov信源， Markov信源是有记忆信源中最简单最具代表性的一种。 随机过程是否平稳：平稳信源/非平稳信源 可将非平稳信源分解为几个平稳信源的组合 信源的数学模型 大写字母（如X）表示随机变量，则一个离散信源的输出可用序列集合表示： 集合中的每个元素取自字母表（有限符号集合） 若取t为有限数n，则信源又可用n维随机矢量表示： 其中 表示 中各元素的n重笛卡尔乘积，共有 种可能组合。其中每一个叫做长为n的源字。 信源的数学模型 用 表示n维随机矢量 的概率，并记 若对任意整数k与n，所有的 都满足 则称此信源为平稳信源，此时上式中下标t省略。 若对任意 ，又有关系式 成立，则此平稳信源为离散无记忆平稳信源，简称离散无记忆信源。 离散无