无失真信源编码和香农第一定理.pptx

1、无失真信源编码;(2)码表及其模型 码表——n次扩展信源发出消息的码字为不等长的码元序列，码元序列中任何一个码元都随机取值于同一个二进制集合 码表的模型——不等长二进制离散型随机变量序列C1C2…Cl~P(C1C2…Cl)=P(X1X2…Xn) 不等长二进制随机变量序列C1C2…Cl的取值 为信源发出消息 的码字 i1,i2,…,in=1,2,…,N k1,k2,…,kl=1,2;(3)平均码长与码率 码长——n次扩展信源发出消息xi的码字ck的长度，用l(ck)表示，简记为lk i,k=1,2,…,Nn（各码字的码长不一定相等） 平均码长——对应于各消息码字的码长的数学期望，用L表示;码率——对应于各消息中每一个符号码字的平均码长，用R表示，R=L/n;二次扩展信源的某种信源编码;平均码长;信源的某种信源编码;二次扩展信源的某种信源编码;平均码长;问题：n次扩展信源各消息码字的码率，n越大，码率越小——应该??到什么程度？;2、香农第一定理;正定理的证明;逆定理的证明;香农第一定理表明熵H(X)是对应于n次扩展信源无失真信源编码码率R的下界——香农界;例3：(1)利用香农第一定理验证例2中对应于信源和二次扩展信源的信源编码无失真 (2)找例2中信源的另一种编码，利用香农第一定理验证其失真;例2中信源的该种信源编码的码率 R=1.3(bit)H(X)=1.157(bit);(2)例2中信源的另一种编码;例2中信源的另一种信源编码的码率 R=1.1(bit)H(X)=1.157(bit)