信息论与编码第章()方案.ppt

* * 例：极大似然译码规则 已知信道转移矩阵，确定译码规则。 只已知转移概率，无法找出最佳译码规则，只能采用极大似然译码规则。 将转移矩阵各列最大的转移概率标出，重写转移矩阵如下： 按“转移概率最大”原则确定极大似然译码规则： 注：无法求出平均差错率 * * 极大似然译码规则与最佳译码规则等价的条件 极大似然译码规则 最佳译码规则 结论：信道输入等概时，极大似然译码规则与最佳译码规则等价。 证明： 输入等概 （1）信道输入是近似等概的：因为信道前级有信源编码器存在。 （2）极大似然译码规则近似最佳，可以放心使用。 注： * * 码字的似然函数 为了方便计算，可以利用对数运算将乘法运算转化为加法运算。由于对数函数的单调性，似然函数最大时对数似然函数也是最大。所以码字对数似然函数最大化等效于各码元对数似然函数之和的最大化。即： * * 最大似然译码等效于最小汉明距离译码。 BSC信道 * * 求最大似然函数的问题可转化成求最小汉明距离d的问题。 汉明距离译码是一种硬判决译码。由于BSC信道是对称的，只要发送的码字独立、等概，汉明距离译码也就是最佳译码。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * * * * 矢量的运算规则 * * 线性空间的基底 自然基底 子空间 * * 如在二元域GF(2)上 以（100）为基底可张成一维三重子空间V1，含21 =2 个元素，即 以(010)(001)为基底可张成二维三重子空间V2，含 22 =4个元素，即 以(100)(010)(001)为基底可张成三维三重空间V,含 23 =8个元素，V1和V2都是V的子空间。 “重数”：构成矢量的有序元素的个数； “维数”：张成矢量空间基底的个数； 维数不可能大于重数，而当维数小于重数时说明这是个子空间。 * * 矢量正交 矢量空间正交 对偶空间 * * 码空间 消息k长 (n , k) 码字n长 qk 种 分组编码器 qn种 k维k重矢量 n维n重矢量 通常qn qk，分组编码的任务是要在n维n重矢量空间的qn种可能组合中选择其中的qk个构成一个码空间，其元素就是许用码的码集。 * * 分组编码的任务 选择一个ｋ维n重子空间作为码空间。 确定由k维k重信息空间到ｋ维n重码空间的映射方法。 码空间的不同选择方法，以及信息组与码组的不同映射算法，就构成了不同的分组码。 * * 6.1.3 随机编码与信道编码定理 如果不考虑编码的具体方法，而是运用概率统计的方法在特定信道条件下对编码信号的性能作出统计分析，求出差错概率的上，下限边界，其中最优码所能达到的差错概率上界称为随机码界。 随机编码的含义 * * 在(N,k)分组编码器中随机选定的码集有qNM种 第m个码集(记作{c}m )被随机选中的概率是 设与这种选择相对应的条件差错概率是Pe({c}m) 全部码集的平均差错概率是 随机编码 * * 随机编码 必定存在某些码集 某些码集 若 ，就必然存在一批码集 即差错概率趋于零的好码一定存在 * * 随机编码 码集点数M=qK占N维矢量空间总点数qN的比例是 F =qK / qN = q-(N-K) 当K和N的差值拉大即冗余的空间点数增加时，平均而言码字的分布将变得稀疏，码字间的平均距离将变大，平均差错概率将变小。 当F?0 即(N-K)??时，能否让平均差错概率 ？ Gallager在1965年推导了 的上边界，并证明这个上边界是按指数规律收敛的。 * * 错误概率的上界 对于离散无记忆信道（DMC）。错误平均 概率的上界为： E(R)为可靠性函数，也叫误差指数 码率：R =( lbM) / N M是可能的信息组合数，M=qK N是每码字的码元数， R表示每码元携带的信息量，单位是每符号比特（bit / symbol） 是全部码集的平均差错概率 * * 可靠性函数Er( R )的曲线 可靠性函数Er( R )与信息传输率R的关系曲线如下图， 是一条下