信编复习.docVIP

《信息论与编码》总复习 第一章 信息论基础 1．各种信源、信道； 2．马尔可夫信源计算 第二章 信息的度量 - 三．阐述了对各种信息量的度量，主要内容如下： 信息量I(xi) = - log q(xi) 对自信息量求统计均值，得到熵 条件自信息量I(xi︱yj) = - log(xi︱yj)I(xi︱yj) 条件自信息量I(yj︱xi) = - log p (yj︱xi)I(yj︱xi) 二维联合空间的自信息量I(xi yj) = - log p(xi yj) 对I(xi yj)求统计均值，得到联合熵 二个事件之间的互信息 对I(xi ；yj)求统计均值，得到平均互信息量 I (X;Y) = H (X) – H (X︱Y) = H (Y) – H (Y︱X)= H(X)+ H(Y)- H(XY)[定理2.1]信道给定，I（X；Y）是信源的∩型凸函数； 3．[定理2.2]信源给定，I（X；Y）是信道的∪型凸函数。 第三章 离散信源无失真编码 等长编码定理 变长编码定理(Shannon第一定理) 常见的三种变长码的编码方法：香农编码法、Fano编码法和霍夫曼编码法。 第四章 离散信道的信道容量 信道容量 第五章 有噪信道编码 最大后验概率译码准则 (（︱y） (（xm︱y） 极大似然译码准则 p（y︱） p（y︱xm） 平均译码错误概率 信道编码定理 、 信道编码逆定理（Shannon第二定理） 第六章 率失真编码 率失真函数 值域 0 ( R（D）( H（X） 定义域 计算R(D) R(D)的性质 率失真编码定理（(Shannon第三定理)） 第七章 纠错编码代数基础 群（4条性质），群的陪集分解（分解的正交性、完备性） 环(8条性质）,多项式环 域（11条性质）:本原元、本原多项式、特征P、最小多项式、最小多项式的共轭根组、 的因式分解、元素的四种表示法 素域GF(p)，子域GF(q)，扩域GF(Q) 第八章 线性分组码 生成矩阵G，码字= uG 校验矩阵H， 系统码C 对偶码 最小汉明距离 纠错能力 ，检错能力，同时纠检 码的标准阵列，码的陪集分解 用标准阵列译码：在标准阵列中找到y，将y估值为y所在列的第一个元素（码字）。 第九章 循环码 因式分解xn-1＝g(x) h(x) 生成多项式 g(x)＝gn-kxn-k＋gn-k-1xn-k-1＋…＋g1x＋g0 ((g (x)＝ n-k 校验多项式 h(x)＝hkxk＋hk-1xk-1＋…＋h1x＋h0 (( h (x)＝ k 生成矩阵 校验矩阵 系统码 c(x)＝xn-k m(x)＋r(x) r(x)＝xn-km(x)【mod g(x)】 1 先验概率q(x)－信源分布概率 后验概率Φ（x︱y）） p（xy））） 一般信道（充要条件） 计算信道容量 准对称信道 信源只含两个消息 信道为非奇异方阵 1．u → 编码为c = uG 2．发送 c 3．接受y 用伴随式译码 4．计算伴随式 s = H y t → 对应 si 5．找到陪集首e i 6．输出估值