[2018年最新整理]信道编码定理.pptVIP

第二节 信道编码问题 例：三重二进信道 第二节 信道编码问题 在信道不变的条件下，减少信源传输的信息量可以降低通信时的误差概率。在通信问题中，牺牲数量可以换取质量。 第二节 信道编码问题 的信源序列。 第二节 信道编码问题 （2） 第二节 信道编码问题 此时称 为信道 的一个 专线组，Mn为这 的数目。 Def5.1.2 若 第三节 离散无记忆信道 在对信道进行分类和建立数学模型后，就开始研究信道传输信息的能力－可以用信道容量来表示，它代表了信道传输信息的最大能力。 我们先从最简单最基本的信道－离散无记忆信道入手。 5.2.1 信道容量 第三节 离散无记忆信道 1、对C，分别称 上的概率分布为信道的入口分布、出口分布，记为 第三节 离散无记忆信道 这时 为入口与出口的互 信息 。 3、由以上定义知，I(U;V)是由p(v/u)及p决定，因此I(U;V)是二者的函数，有时记为I(C;p）或I[p(u),p(v/u)]，当信道固定时，互信息就是入口概率分布p的函数，记 上的全体概率分布为 第三节 离散无记忆信道 5.2.2 几种典型的无记忆信道 典型的无记忆信道有：二元对称信道，Z信道，M信道 第三节 离散无记忆信道 Th5.2.1 （1）对称信道的条件熵H(V/U)与信道的入口分布无关。 (2) 对称信道的信道容量C=log || V||-H0,其中H0=H(V/U)，且信道的最大入口分布为 上的均匀（等概）分布。 第三节 离散无记忆信道 5.2.3 无记忆信道序列的信道容量 是信道序列，对每个 同样定义入口分布 ，则入口出口联合分布 ，此时入口出口随机变量 的互信息为 第三节 离散无记忆信道 引理5.2.1 如果 是无记忆信道，则 第四节 信道序列的正、反编码定理 5.3.1 一般信道序列的正反编码定理 第四节 信道序列的正、反编码定理 我们记 第四节 信道序列的正、反编码定理 5.3.2 无记忆信道的正、反编码定理即可得到无记忆信道的正、反编码定理。 Th5.3.2（无记忆信道的正、反编码定理）如果C是一个离散无记忆信道C的信道容量，那么C必是该离散无记忆信道序列 的最大可达速率。 第五节 信道容量的计算问题 记 为固定信道，当入口分布p(u)给定，互信息函数I(p)=I(C,p)就确定了。信道容量就是p在PU中变化的最大值。因此，信道容量的计算问题是一个条件极值的问题，即在 第五节 信道容量的计算问题 引理5.4.2 如果f(p)是PU上连续可微函数，那么f(p)对于 取最大值的充分必要条件为存在 且满足： 第五节 信道容量的计算问题 2、信道容量的计算方程 Th5.4.1 为固定信道的最大入口分布的充要条件是存在一个常数C满足 的容量为 Th5.2.2 如果 是由C决定的无记忆信道，信道容量分别为C与 Cn，那么必有Cn＝nC。且 最大入口分布为 是 决 定的无记忆分布，是 的入口分布。 这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。 第三节 离散无记忆信道 信道的信道容量是固定的，如果某一信源通过该信道传输是，信息传输率（互信息）达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。 定义：信道剩余度＝C-I(U;V) 信道的相对剩余度＝ 对于无损信道，相对剩余度＝ 第三节 离散无记忆信道 如何才能做到匹配呢？ 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。 无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。 为 的互信息密度函数。 Def5.3.1 称信道序列 是Jn信息稳定的，如果 且存在一信道的入口概率分布序列 ，使 Th