2014信息论与编码.ppt

信息论与编码-线性分组码 上次课小结： 信道编码定理： 差错控制的途径 增加码长、增加带宽、提高信噪比、噪声均化 码距与检错纠错的关系 信息论与编码-线性分组码 最优译码与最大似然译码 最优译码： 最大似然译码： 汉明距离、码字重量 信息论与编码-线性分组码 一、线性分组码的基本概念 分组码是建立在码的代数结构基础上的，所以对分组码的讨论和分析需要一定的代数基础。在这里我们不准备系统地学习代数知识，只介绍一些相关的内容。 信息论与编码-线性分组码 域（Field）的概念 域是定义了两种代数运算的系统。 所谓代数系统，是指满足一定规律或定律的系统，系统中有一群元素构成的集合、定义了一些运算等。 在域中定义的两种算术运算是： 信息论与编码-线性分组码 （i）加法： 集合F在加法运算下是封闭的，即如果 必有 。 满足加法结合率，即 集合中一定包含一个零元素，满足 集合中每个元素都有其逆元素，元素a的逆记为-a，有a+(-a)=a-a=0 信息论与编码-线性分组码 （ii）乘法： 集合F在乘法运算下是封闭的，即如果 ，则必有 满足乘法结合率，即 满足乘法交换率，即 满足乘法分配率，即 集合中一定有一个单位元I，对任何 有 除零元素外，集合中每一个元素都有逆元素。 信息论与编码-线性分组码 当域由有限个元素组成时，叫做有限域，也称为伽罗华（Galois Field）域，记为GF(q)，其中q是域中元素的个数。 例如，集合｛0，1｝对加法和乘法（不包含零元）都是模2的运算构成一个域GF（2）。 集合｛0，1，2，3，4｝对加法和乘法（不包含零元）都是模5的运算构成一个域GF（5）。 信息论与编码-线性分组码 （2）矢量空间 由初等数学可知，平面上的二维矢量的全体构成一个二维的矢量空间，空间的三维矢量全体构成三维矢量空间。推广可以得到一般的n维矢量 空间。 信息论与编码-线性分组码 在线性空间中，能张成该空间的线性独立矢量的集合称为该空间的基底。n个n重线性无关的矢量可以构成一个n维矢量空间。 取其中的k个可以张成n维空间的一个子空间。例如：由（1，0，0）， （0，1，0），（0，0，1）为基底可以张成一个三维三重空间，取其中的两个为基底可以构成一个二维三重空间。 以互相正交的基底张成的两个空间也正交，并互称为另一个空间的零空间。这两个空间对偶。 信息论与编码-线性分组码 线性分组码 一个[n，k]分组码，是把信息划成k个为一段（称为信息组），通过编码器变成长为n个码元的一组，作为[n，k]分组码的一个码字。则共可能有 个码字。 如果这些码字集合组成一个k维线性空间，则称它是一个[n，k]线性分组码。 信息论与编码-线性分组码 对于线性分组码，如果 是码字，则 必定也是码字。其中 是码元字符集里的任意两个元素。 因为一个定义了加法的域一定有零元素，如果取 ，则得到的码字一定是全零码。因此，线性分组码一定包含全零码。 因此： 信息论与编码-线性分组码 也就是说： （i）两个码字之间的距离必定等于另一个码字的重量，所以线性分组码的最小码距 等于码集中非零码字的最小重量： （ii）研究两两码字之间的距离，可用码字与全零码的距离，或各码字自身的重量来代替。 信息论与编码-线性分组码 对于[n，k]二进制分组码，共有 个码字，可以看成是n维n重空间S的一个子空间。这个子空间是由k个基底张成的，记作码空间C，它是一个k维n重空间。n维n重空间的另外n-k个基底则张成一个n-k维的子空间，称为校验空间H。分组编码器的工作，就是要把k维k重的信息组空间的 个矢量一一对应到k维n重码空间C。因此，编码算法就要研究两个问题： （i）如何确定码空间C，和（ii）如何映射。 信息论与编码-线性分组码 二、生成矩阵和校验矩阵 [n，k]分组码的编码问题就是要在n维线性空间中，找出满足一定要求的由 个矢量组成的k维n重线性子空间，或者说，要由k个信息码元得到n-k个冗余码元。 设 是一组k个信息组，可以写成矢量形式 。编码器输出的是k维n重码空间C的一个矢量，记为 。因此有 信息论与编码-线性分组码 对二进制分组码来说， 。上式也可以写成矩阵形式： 其中， 均为一个含有n个元素的行向