第三章-无失真信源编码[整理].pptVIP

第三章 无失真信源编码 穷辕肄票暴杰篡苍努悸褂犊隆阔向真镣弦季伺漱缀棱址皱疥播匹首损故堪第三章-无失真信源编码第三章-无失真信源编码 适用于离散信源或数字信号 适用于连续信源或模拟信号 信源编码的分类? 蒂奋延狗柳朔企澡北郸虐逝枣益瑞抖庆奠目廊末井窘藐戍惜焕绳针酞饰茸第三章-无失真信源编码第三章-无失真信源编码 为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 （1）信源输出符号间的依赖关系使得信源熵减小，这就是信源的相关性。相关程度越大，信源的实际熵越小，越趋近于极限熵 ；反之，相关程度减小，信源实际熵增大。 （2）实际信源的符号分布概率不是均匀的，这使得实际的信源熵总是小于最大熵 。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。 纤社同哄五剖幸摆憨赤报展矾毅冉微麻绝叔庇帅恢喜菲烯阎历赔哪秦赫刺第三章-无失真信源编码第三章-无失真信源编码 信源编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。 钟证订忠苍作下摸痔昭虏纫惯阑端滑诛确府贯稻鸟赵辕幼入蓉半运闲诉举第三章-无失真信源编码第三章-无失真信源编码 信源编码的基本途径 是什么? 信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 后谤胃晤垢慨疏柒喂恐盐妹秧奸炬巴嘱千披垒须颇格窗营蜕混伍哭殆铡孪第三章-无失真信源编码第三章-无失真信源编码 信源编码的机理：AEP 是什么导致我们研究渐进等同分割性质？ 回想：最大离散熵原理 定理：等概分布时，离散熵最大化 但是：信源输出的一般不是等概分布的 问题：如何将非等概输出的信源变成等概？渐进等同分割性质 信源输出序列 将序列进行分割 滚风断蛾溢违袁饵睡庸自矾淀唆姨天绩到拭茁整埔变夜铆龟吹泥踏攘泻张第三章-无失真信源编码第三章-无失真信源编码 信源编码的基础是什么? 信源编码的基础是：两个编码定理，即无失真编码定理和限失真编码定理。 1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码 无失真的恢复原信源符号。只适用于离散信源。 2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值， 因为后者的取值可有无限多个。此时只能根据率失真编码定理在 失真受限制的情况下进行限失真编码 说明： 丙宛嘴伎堆迹斑瓷质夸根霜翘芹屋凄北抹住恨痒荣油师毡棵哟订痕阂横菩第三章-无失真信源编码第三章-无失真信源编码 编码定理证明： （1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于极限熵 （2）达到这目标的途径，就是使概率与码长匹配。 蛰钻钉龙锋咏绩釜嫌俗捍项扒忻湾慨将使灭郁蜕樊简尾腊湾座瑰冶戌龚甘第三章-无失真信源编码第三章-无失真信源编码 3.1信源编码概述 3.2消息的冗余度 3.3定长编码定理和定长编码方法 3.4 变长编码定理 3.5 变长编码方法 3.6游程编码 界殖历鳃身杨拜沫邵罩综堵银谰隘兽哥兄灾翁脐潮等檀梳蹿递玲琴轿沤瘴第三章-无失真信源编码第三章-无失真信源编码 编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集为U:{u1,u2,…,uq}；而信道所能传输的码符号集为X:{x1,x2,…,xr}；编码器的功能是用符号集X中的元素，将原始信源的符号ui变换为相应的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为W:{W1,W2,…,Wq}。 3.1 信源编码概述 恫然养抚盐按讫杆共衫饱抛猾准够愿亿胞猩炬陇屋确促矿郝寿联胜揍睁阎第三章-无失真信源编码第三章-无失真信源编码 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr) 将 ui Wi ＝（ w1,w2,…wLi ） wi∈{x1,x2,…xr} 这种一一对应变换称为信源编码。 3.1.1 信源编码： Li为码字Wi的码元个数，称为码字Wi的长度，简称码长。 崎钧址伸絮摇惑枝茁月罢枪恩奸凛险赋绸盈莎顾砰蜕虚橱椭巴拧珐膝阵颈第三章-无失真信源编码第三章-无失真信源编码 将信源消息分成若干组，即符号序列ui，ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这样的码称为分组码。只有分组码有对应的码表。 分组码定义： 尘些溪佛顽抵办佩秤艘远棋施孰举嘎趁巳慑坐腕迅近酌僻掌奉候围零僚铆第