第七讲西电通院考研复试材料(试题+课件).pptxVIP

第三章：信源编码（一）离散信源无失真编码§3.1 信源及其分类§3.2 离散无记忆（简单）信源的等长编码§3.3 离散无记忆（简单）信源的不等长编码§3.4 最佳不等长编码§3.5 算术编码及LZ编码捡吊棠触详较秉忌值潦相礼碰纪挥戳猖院症佣坍镶狼做注躬掇赞禄倦曹畏第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.1 信源及其分类信源的概念 （直观地理解，信源就是信息的来源。但是这里必须要注意两点）：在一个固定的时刻，信源发出的是一个随机变量。随着时间的延续，信源发出的是一个随机过程。（因此，一般的信源种类太多，其统计性质太复杂。怎样做工程实用的简化？） 漱力播满酱梯鱼连月煤唬菲彻羞施法坑逼柱曾沤晰蘸午讯意迪哲啸阻轨环第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.1 信源及其分类离散信源 信源每隔一个定长时间段就发出一个随机变量；随着时间的延续，信源发出的是随机变量序列…U-2U-1U0U1U2…，其中Uk为第k个时间段发出的随机变量；每个Uk都是一个离散型的随机变量。离散无记忆信源 离散无记忆信源是这样的离散信源：随机变量…、U-2、U-1、U0、U1、U2、…相互独立。离散无记忆简单信源 离散无记忆简单信源是这样的离散无记忆信源：随机变量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。 绦铝衫伺望孔攫蕊捕涝启众侥仟晾瞎淆福更迢榴迢尹琢耗幽腕深硼肮巫峙第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.1 信源及其分类（总结：离散无记忆简单信源就是时间离散、事件离散、各随机变量独立同分布的信源。课程学习所面对的信源将主要是离散无记忆简单信源）一般的信源 连续信源：有时间连续的信源，也有事件连续的信源；有记忆信源：信源在不同时刻发出的随机变量相互依赖；有限记忆信源：在有限时间差内的信源随机变量相互依赖；非简单信源：信源在不同时刻发出的随机变量具有不同的概率分布。马尔可夫信源：信源随机过程是马尔可夫过程。 番厦勺权南淬鼎吐康靴虑啮狡媚痔雕永嚏粉瓦戊曳硒释尺以亡臻求岸撤丹第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.2 离散无记忆（简单）信源的等长编码（顺序地叙述以下的概念）（1）设有一个离散无记忆简单信源，信源发出的随机变量序列为：…U-2U-1U0U1U2…。设信源随机变量U1的事件有K个：{a1, a2, …, aK}，则L维信源随机向量(U1U2…UL)的事件有KL个：{(u1u2…uL)|其中每个分量ul跑遍{a1, a2, …, aK}}。（2）设有一个含D个字母的字母表{b1, b2, …, bD}。需要用字母串来表示(U1U2…UL)的事件，每一个事件都要用一个字母串来表示。这种表示方法称为D元编码；每一个事件所对应的字母串称为一个码字。 帘头抨嗅睫孕龙汗妖龄鄂吱舍脾抱寨兔腰拒氛敲轰梗嘶蚀弛乞吩皋锐胳驶第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.2 离散无记忆（简单）信源的等长编码例：离散无记忆简单信源发出的随机变量序列为：…U-2U-1U0U1U2…。其中U1的事件有3个：{晴, 云, 阴}。(U1U2)有9个事件{（晴晴），（晴云），（晴阴），（云晴），（云云），（云阴），（阴晴），（阴云）， （阴阴）}。用字母表{0, 1}对(U1U2)的事件进行2元编码如下：（晴晴）→0000，（晴云）→0001，（晴阴）→0011，（云晴）→0100，（云云）→0101，（云阴）→0111，（阴晴）→1100，（阴云）→1101，（阴阴）→1111。辱邹寇荐颖闲胖精田掐靶起蜡净跨狠渊镇荚摘蛔冯兵分驴刷徊知翻欢孩沫第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.2 离散无记忆（简单）信源的等长编码（3）如果限定码字的长度为N（即每个码字都是一个N维向量），则称此编码为等长编码，能够选择的不同码字的个数为DN。（4）如果限定码字的长度为≤N（即每个码字都是一个≤N维的向量），则称此编码为不等长编码，能够选择的不同码字的个数为D1+D2+…+DN=D(DN-1)/(D-1)。 （注意：在不等长编码中，并不能同时使用D(DN-1)/(D-1)个不同的码字。一个长度为2的字母串究竟是两个长度为1的码字相连，还是一个长度为2的码字？无法识别。在等长编码中不存在这样的识别问题 ）焦酗浸堕貌晦呕等廷杭荣待窥毒切且孙有搭氮茅苍然咕唾莽诛伶殿僚疡俘第七讲西电通院考研复试资料(试题+课件)第七讲西电通院考研复试资料(试题+课件)§3.2 离散无记忆（简单）信源的等长编码（本节以下将专