远动监控技术B精要.pptVIP

第二章 远动信息与编码的基本理论 第三节 信道编码基本原理 （抗干扰编码、差错控制编码） 2.3.1 信道模型 1. 离散信道的数学模型 2）单符号离散信道的数学模型 2. 单符号离散信道的数学模型 2）单符号离散信道的数学模型 一般离散单符号信道的传递概率可用以下形式的矩阵来表示： 并满足式 。 前向概率与后向概率 定义：已知发送符号 ai ，通过信道传输接收到的符号为 bj 的概率 P(bj|ai)称为前向概率。已知信道输出端接收到的符号为 bj，而发送符号为 ai 的概率P(ai|bj)称为后向概率。 有时，也把 P(ai)称为输入符号的先验概率(即在接收到一个输出符号以前输入符号的概率)，而对应地把 P(ai|bj)称为输入符号的后验概率(即在接收到一个输出符号以后输入符号的概率) 。 联合概率和条件概率 一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为P(x=ai,y=bj)=P(aibj)，则有 (2) (3) 后验概率与先验概率之间的关系： 2.3.2 信道疑义度和平均互信息 1. 信道疑义度 信道输入信号X 的熵 H(X) 是在接收到输出Y 以前，关于输入X的先验不确定的度量，称为先验熵。 如果信道中无干扰（噪声），接收到传送过来的符号后就消除了对发送符号的先验不确定性。 但一般信道中有干扰存在，接收到输出Y 对发送的是什么符号仍有不确定性。 1）信道疑义度 没有接收到输出Y 时，已知输入X的概率分布为P(x)；而接收到输出符号y=bj 后，输入符号的概率分布发生了变化，变后验概率分布P(x|bj)。 定义 接收到输出符号 y=bj 后，关于X 的平均不确定性为： 称 H(X|bj) 为接收到输出符号为 bj 后关于X 的后验熵。后验熵是当信道接收端接收到输出符号bj后，关于输入符号的信息测度。 1）信道疑义度 将后验熵对随机变量Y求期望，得条件熵为 这个条件熵称为信道疑义度。 1）信道疑义度 1）信道疑义度 1）信道疑义度 信道疑义度(条件熵) 信息疑义度表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性(即存在疑义)。 这个对X 尚存在的不确定性是由干扰(噪声)引起的。 如果是一一对应信道，那么接收到输出Y 后，对X 的不确定性将完全消除，则信道疑义度H(X|Y)=0。 2）平均互信息 2. 平均互信息 称 I(X;Y)= H(X)-H(X|Y) 为X 和Y 之间的平均互信息。 平均互信息表示接收到输出符号Y 后平均每个符号获得的关于输入变量X 的信息量。 经过推算得出： 其中X是输入随机变量，Y是输出随机变量 平均互信息是互信息（即接收到输出符号y 后输入符号x 获得的信息量）的统计平均值，所以永远不会取负值。 2.3.3 错误概率和译码规则 错误概率与信道统计特性有关 信道的统计特性可由信道的传递矩阵来描述。 当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。 错误概率与译码规则有关 通信过程一般并不是在信道输出端就结束了，还要经过译码过程(或判决过程)才到达消息的终端。 译码过程和译码规则对系统的错误概率影响很大。 2）译码规则 译码规则 定义：设离散单符号信道的输入符号集为X={ai}，i＝1,2,···,r ；输出符号集为Y={bj}，j＝1,2,···,s。定义译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个惟一的输入符号ai与其对应(单值函数)，即 F(bj)= ai ( i ＝1,2,···, r；j ＝1,2, ···, s ) 2）译码规则 例2-8 有一离散单符号信道，信道矩阵为： 根据这个信道矩阵，设计两种不同的译码规则： 由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs 种译码规则可供选择。 最大后验概率准则 两种主要的译码准则 (1) 最大后验概率准则 在确定择码规则F(bj)=ai 后，若信道输出端接收到的符号为bj，则一定译为ai ，如果发送端发送的是ai ，就为正确译码；如果发送的不是ai ，就为错误译码。那么，收到符号bj 时择码的条件正确概率为： 令P(e|bj)为条件错误概率，其中e表示除了F(bj)=ai 以外的所有输入符号的集合。条件错误概率与条件正确概率之间存在关系： 最大后验概率准则 称条件错误概率对Y空间的平均值 为平均错误概率。 平均错误概率表示经过译码后平均接收到一个符号所