第6章节 有噪信道编码定理.pptVIP

一、错误概率和译码规则 小 结 错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。 译码规则选择的依据就是使平均错误概率最小 有了译码规则以后，收到 的情况下，译码的条件正确概率为： 而错误译码的概率为收到 后，推测发出除了 之外其它符号的概率： * 第6章 有噪信道编码定理 ◆ 错误概率和译码规则 ◆ 错误概率与编码方法 ◆ 有噪信道编码定理 ◆ 联合信源信道编码定理 图6.1 编码信道 信道编码的对象：信源编码器输出的数字序列（信息序列） M。通常是0、1符号构成的序列。 信道编码： 数字序列M （无规律性） 增加的 多余码元 数字序列X （有规律性） ＋ 对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无错传输可以达到的最大信息传输率是多少呢？ 6.1 错误概率和译码规则 为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。 在有噪信道中传输消息是会发生错误的。错误概率与信道统计特性有关。信道的统计特性可由信道的转移矩阵来描述。 0 1 0 1 1/3 1/3 2/3 2/3 例：有一个BSC信道，如图所示 若收到“0”译作“0”，收到“1”译 作“1”，则平均错误概率为： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概 率为1/3，可见错误概率与译码准则有关。 可见，错误概率既与信道的统计特性有关，又与译码 的规则有关。 译码规则 设离散单符号信道的输入符号集为 输出符号集 。若对每一个输出符号 都有一个确定的数 使 对应于惟一的一个输入符号 ，则这样的函数称为译码规则，记为 我们来定义译码准则： 例6.1（p223） 可以设计译码准则： 译码规则的选择应该有一个依据，一个自然的依据就是使平均错误概率最小。 有了译码规则以后，收到 的情况下，译码的条件正 确概率为： 而错误译码的概率为收到 后，推测发出除了 之外其它符号的概率： 可以得到平均错误译码概率为： 它表示经过译码后平均接收到一个符号所产生错误的大小，也称平均错误概率。 如何设计译码规则 最小？ 由前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足条件： 也就是说，收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。 根据贝叶斯定律，上式也可以写成 即： 当信源等概分布时，上式为： 这称为最大似然译码准则，方法是收到一个 后，在信道矩阵的第j列，选择最大的值所对应的输入符号作为译码输出。 可进一步写出平均错误概率： 也可写成： 上式也可写成对行求和： 如果先验概率相等，则： 例6.2（p225） 根据最大似然准则可选择译码函数为B： 若采用前边讲到的译码函数A，则平均错误率为： 若输入不等概分布，其概率分布为： 若采用最小错误概率译码准则，则联合矩阵为： 所得译码函数为C： 平均错误率为： 平均错误概率 与译码规则有关，而译码规则又由信道特性决定。于是，平均错误概率 与信道疑义度 是有一定关系的，满足 费诺不等式 证明： 条件熵 故有 应用不等式 得 移项证得费诺不等式 图6.2 费诺不等式的曲线图 接收到Y后关于X的平均不确定性分为两部分：①是否产生 错误的不确定性 ； ②输入符号发送而造成的最大不确定性 。 函数 随 变化曲线为 6.2 错误概率与编码方法 一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过优选信道编码方法来降低错误概率。 例：对于如下二元对称信道 （输入等概率） 图6.3 二元对称信道 如何提高信道传输的正确率呢？可以尝试用下面的方法 没有使