6.1 信道编码概述 -6.1.1 信道模型 -6.1.2 信道疑义度和平均互.pptVIP

第6章 信道编码 6.1 信道编码概述 －6.1.1 信道模型 －6.1.2 信道疑义度和平均互信息 －6.1.3 错误概率和译码规则 －6.1.4 错误概率与编码方法 －6.1.5 抗干扰信道编码定理及逆定理 －6.1.6 检错与纠错的基本原理 6.2 二元线性码 －6.2.1 有限域上的线性空间 －6.2.2 线性码的生成矩阵与校验矩阵 －6.2.3 线性码的汉明重量和系统码 －6.2.4 线性码的编码 －6.2.5 线性码的译码 第6章 信道编码 6.3 循环码 －6.3.1 数学基础知识 －6.3.2 循环码及其生成多项式 －6.3.3 循环码的校验多项式 －6.3.4 循环码的编码 －6.3.5 循环码的译码 －6.3.6 循环冗余校验码 6.4 限失真编码定理 [学习目标] （1）理解和掌握信道编码的基本原理； （2）理解抗干扰信道编码定理； （3）理解和掌握二元线性码的编码和译码； （4）理解和掌握循环码的编码和译码； （5）理解限失真编码定理。 6.1 信道编码概述 6.1.1 信道模型 1．离散信道的数学模型 根据信道的统计特性即条件概率P(y|x) 的不同，离散信道可以分为三种情况： （1）无干扰信道 （2）有干扰无记忆信道 （3）有干扰有记忆信道 6.1 信道编码概述 6.1.1 信道模型 2．单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于{a1, a2, …,ar}，输出变量为Y，取值于{b1, b2, …, bs}，并有条件概率(信道的传递概率) ：P(y|x)= P(y=bj|x=ai) = P(bj |ai) (i=1,2,···,r；j=1,2, ···, s) 模型： 6.1 信道编码概述 一般离散单符号信道的传递概率可用以下形式的矩阵来表示： 并满足式 。 6.1 信道编码概述 定义6.1 已知发送符号 ai ，通过信道传输接收到的符号为 bj 的概率 P(bj|ai)称为前向概率。已知信道输出端接收到的符号为 bj，而发送符号为 ai 的概率P(ai|bj)称为后向概率。 有时，也把 P(ai)称为输入符号的先验概率(即在接收到一个输出符号以前输入符号的概率)，而对应地把 P(ai|bj)称为输入符号的后验概率(即在接收到一个输出符号以后输入符号的概率) 。 6.1 信道编码概述 一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为 P(x=ai,y=bj)=P(aibj)，则有 (2) (3) 后验概率与先验概率之间的关系： 6.1 信道编码概述 6.1.2 信道疑义度和平均互信息 1. 信道疑义度 信道输入信号X 的熵 H(X) 是在接收到输出Y 以前，关于输入X的先验不确定的度量，称为先验熵。 如果信道中无干扰（噪声），接收到传送过来的符号后就消除了对发送符号的先验不确定性。 但一般信道中有干扰存在，接收到输出Y 对发送的是什么符号仍有不确定性。 6.1 信道编码概述 6.1.2 信道疑义度和平均互信息 没有接收到输出Y 时，已知输入X的概率分布为P(x)；而接收到输出符号y=bj 后，输入符号的概率分布发生了变化，变后验概率分布P(x|bj)。 定义6.2 接收到输出符号 y=bj 后，关于X 的平均不确定性为： 称 H(X|bj) 为接收到输出符号为 bj 后关于X 的后验熵。 后验熵是当信道接收端接收到输出符号bj后，关于输 入符号的信息测度。 6.1 信道编码概述 将后验熵对随机变量Y求期望，得条件熵为 这个条件熵称为信道疑义度。 6.1 信道编码概述 信道疑义度(条件熵) 信息疑义度表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性(即存在疑义)。 这个对X 尚存在的不确定性是由干扰(噪声)引起的。 如果是一一对应信道，那么接收到输出Y 后，对X 的不确定性将完全消除，则信道疑义度 H(X|Y)=0。 6.1 信道编码概述 2. 平均互信息 定义6.3 称 I(X;Y)= H(X)-H(X|Y) 为X 和Y 之间的平均互信息。 平均互信息表示接收到输出符号Y 后平均每个符号获得的关于输入变量X 的信息量。 经过推算得出： 其中X是输入随机变量，Y是输出随机变量 平均互信息是互信息（即接收