信息论和编码_第4章无失真信源编码.pptVIP

第4章 无失真信源编码 王永容 机械与电气工程学院 wangyr416@126.com 信源编码 信源编码是以提高通信的有效性为目的编码。 通常通过压缩信源的冗余度来实现。 采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。 第4章 无失真信源编码 4.1 无失真信源编码的概念 4.2 等长编码 4.3 变长编码 4.4 常用的变长编码算法 4.1 无失真信源编码的概念 信源符号(字母)集：S＝{s1, s2,…,sq}. 码符号(字母、元)集：A＝{a1, a2,…,am}. 编码函数f: 将有限个信源符号变换成有限个码符号的函数 用AN表示全体长度为N的信源符号序列构成的集合 4.1 无失真信源编码的概念 N=1时 4.1 无失真信源编码的概念 4.1 无失真信源编码的概念 4.1 无失真信源编码的概念 4.1 无失真信源编码的概念 即时码: 如果收到一个码字后, 就能及时译出，则称为即时码,也称为非延长码，或异前缀码. 即没有任何完整的码字是其它码字的前缀。 否则，就称为非即时码. 例：码5是即时码, 码4是非即时码. 4.1 无失真信源编码的概念 关系 即时码一定是唯一可译码 唯一可译码一定是非奇异码 定长的非奇异码一定是唯一可译码 非定长的非奇异码不一定是唯一可译码 第4章 无失真信源编码 4.1 无失真信源编码的概念 4.2 等长编码 4.3 变长编码 4.4 常用的变长编码算法 4.2 等长编码 4.2 等长编码 4.2 等长编码 4.2 等长编码 4.2 等长编码 等长信源编码定理 定理4-1(Shannon信源编码定理) 4.2 等长编码 等长信源编码定理 最佳等长编码: 4.2 等长编码 第4章 无失真信源编码 4.1 无失真信源编码的概念 4.2 等长编码 4.3 变长编码 4.4 常用的变长编码算法 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 4.3 变长编码 第4章 无失真信源编码 4.1 无失真信源编码的概念 4.2 等长编码 4.3 变长编码 4.4 常用的变长编码算法 4.4.1 香农编码 §4.1.2 费诺编码 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 4.4 常用的变长编码算法 符号序列 a0 a0 a0 a1 a1 a0 a1 a1 概率分布 9/16 3/16 3/16 1/16 1 0 1 9/16 4/16 3/16 2 0 1 9/16 7/16 3 0 1 码字 0 11 100 101 码长 1 2 3 3 例4.10 设二元离散无记忆信源X的符号集为{a0, a1}, 概率分布为：p0=0.75, p1=0.25, 则 H(X)= ?0.75log0.75 ?0.25log0.25=0.811. 对两个信源符号X2进行编码, 则有 蜀须阵粳躇颖鹊狱蛮庸妹瑞达衡希灼靶戏傍洒筷血硅芒让承瓤富狐爽蛇渐信息论和编码_第4章无失真信源编码信息论和编码_第4章无失真信源编码 设离散信源X的熵为H(X), 则其任意一个m元唯一可译码满足： 同时存在m元唯一可译码，其平均长度满足： 单个符号不等长信源编码定理 拣诚咽拼抬喊简摩召幸衷频砸誉舟备柞萤岩远霍裁皆荐董溜甩歧或蔷普躬信息论和编码_第4章无失真信源编码信息论和编码_第4章无失真信源编码 设离散信源X的熵为H(X), 其N次扩张信源为XN，将信源XN编为m元码，总存在唯一可译码f，使得信源X的每个符号所需的平均码长满足： 离散平稳无记忆序列变长编码定理 香农第一编码定理 签坊横耽吨舔钦孤叠卵澄刺锑卸崇晤詹谰达牙肾鞠脏绣坪封砚搏咒谱吁杖信息论和编码_第4章无失真信源编码信息论和编码_第4章无失真信源编码 恤掌跌菇懂颖篡匹莹暑痞锥唇狡还洛佐耍推擒彬陪絮卓缎天躬溢葬火秋滨信息论和编码_第4章无失真信源编码信息论和编码_第4章无失真信源编码 设有离散无记忆信源 奴枫锚颅懒雌堆铲宇肖希总副锰褐军诽甘碰曳徐限狠畔核即恳夹从媒取语信息论和编码_第4章无失真信源编码信息论和