信息论总复习.pptVIP

* 生成矩阵 线性系统分组码: 通过行初等变换，将 G 化为前 k 列是单位子阵的标准形式 线性系统分组码：用标准生成矩阵Gk×n 编成的码字，这种信息数字(k位)在前,校验数字(r=n－k位)在后的线性分组码称为线性系统分组码。 kbit信息位 (n-k)bit校验位 * 校验矩阵 * 1.最小距离与纠错能力：(n,k) 线性码能纠t个错误的充要条件是码的最小距离为 * 伴随式和错误检测 ① 用监督矩阵编码，也用监督矩阵译码：接收到一个接收字 R 后，校验 H?RT=0T 是否成立： 若关系成立，则认为 R 是一个码字； 否则判为码字在传输中发生了错误； ② 伴随式/监督子/校验子：S=R?HT或ST=H?RT。 ③ 如何纠错？ 设发送码矢 C=(Cn－1,Cn－2,…,C0) 信道错误图样为 E=(En－1,En－2,…,E0) ， 其中Ei=0，表示第i位无错； Ei=1，表示第i位有错。i=n－1,n－2,…,0。 * 接收字 R 为 R=(Rn-1,Rn-2,…,R0)=C+E =(Cn-1+En-1,Cn-2+En-2,…,C0 +E0) 求接收字的伴随式（接收字用监督矩阵进行检验 ST=H?RT=H?(C+E)T=H?CT+H?ET 由于H?CT=0T，所以 ST=H?ET 设H=(h1,h2,…,hn)，其中hi表示H的列。代入式得到 * ④ 总结 伴随式仅与错误图样有关，而与发送的具体码字无关，即伴随式仅由错误图样决定； 伴随式是错误的判别式： 若S=0，则判为没有出错，接收字是一个码字； 若S≠0，则判为有错。 不同的错误图样具有不同的伴随式，它们是一一对应的。对二元码，伴随式是 H 阵中与错误码元对应列之和。 * 伴随式译码 (6,3)码的标准阵 陪集首 伴随式 * 伴随式译码 第l个陪集首的重量 重量为i的陪集首的数量 BSC下，二元线性码正确译码的概率： * 伴随式译码 译码步骤： 计算接收矢量的伴随式 由伴随式确定陪集首 将陪集首作为错误图样e 将v译为c=v-e 例：设有码如下所示： 信息　　 码字 00 00000 01 01101 10 10111 11 11010 (1)找出生成矩阵G与监督矩阵H； (2)在二元对称信道下给出最大似然译码的译码表； (3)求正确译码的概率。 * 解：(1) * (2) * * 信息率失真函数 平均失真度 信息率失真函数 离散信息X：概率分布为P(X)，失真度为d(xi,yj) * 信息率失真函数的性质 定义域(Dmin,Dmax)： Dmin是最小允许失真度， Dmax是最大允许失真度 信息率失真函数的物理意义是：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D) 函数特点:下凸性,单调递减和连续性. 例： 接收符号Y ={1/2, 1/2} 求：Dmax和Dmin及达到Dmax和Dmin时的转移概率矩阵。 解：当x1→ y1, x2→ y1/ y2, x3→ y2时，平均失真取最小值 ，对应的 当X和Y统计独立，即p(yj /xi)= p(yj）时，I=0, * * 对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明： 求极值问题 平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即 I(X;Y)又是信道转移概率分布 p(yj|xi)(i=1,2,…,n; j=1,2,…,m) 的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即 * 特 性 信道容量C 求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关； 率失真函数R(D)求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。 解决的问题 信道容量是解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现； 信息率失真函数是解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。 * C.E.Shannon 三个编码定理1 1）无失真信源编码定理：在无失真意义下,实现通信系统与信源统计特性相匹配：即当系统中传信率RH(U) (信源熵)时，最优的信源编、译码存在；反之，当RH(U)时，最优信源编、译码不存在。称它为Shannon编码第一定理。 3）限失真信源编码定理：在限失真意义下，实现