3--第3篇信息论课件.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 例： 可列方程组： 解之得： 信息论与编码 * * 西北大学信息学院 3.4 离散序列信道及容量 信息论与编码 * * 西北大学信息学院 离散序列信道及容量 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm} 信 道 X Y p(Y|X) 对于无记忆离散序列信道,其信道转移概率为 仅与当前输入有关。若信道是平稳的 X 信息论与编码 * * 西北大学信息学院 定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为 则存在 定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即 则存在 信息论与编码 * * 西北大学信息学院 离散序列信道及容量 若信源与信道都是无记忆的 L次扩展信道的信道容量 当信道平稳时: 一般情况下: 信息论与编码 * * 西北大学信息学院 例.BSC信道二次扩展 00 01 10 11 00 01 10 11 转移概率矩阵 2次扩展信道的信道容量 若 p = 0.1 则 C2=(2－0.938)bit/序列 = 1.062bit/序列 C1 = 0.531bit/符号 X Y 信息论与编码 * * 西北大学信息学院 独立并联信道 设有L个信道,它们的输入、输出分别是： X1,X2…XL； Y1,Y2…YL 信 道 信 道 信 道 p(Y1|X1) p(Y2|X2) … 每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。 独立并联信道的信道容量 X1 X2 XL Y1 Y2 YL p(YL|XL) 信息论与编码 * * 西北大学信息学院 3.5 信源信道的匹配 * 信道的信道容量是固定的，如果某一信源通过该信道传输是，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。 定义：信道剩余度＝C-I(X;Y) 信道的相对剩余度＝ 对于无损信道，相对剩余度＝ * 如何才能做到匹配呢？ 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。 无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在下一章讨论这些问题。 * 作业 P131 3.10 3.16 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 信息论与编码 * * 西北大学信息学院 3.3离散单个符号信道及其容量 3.3.1 无干扰离散信道 3.3.2 对称DMC信道 3.3.3 准对称DMC信道 3.3.4 一般DMC信道 * 信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为： Ct实际是信道的最大信息传输速率。 信息传输率：R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号 由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。 信道容量 * C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；它是信道的特征参数，反应的是信道的最大的信息传输能力。 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 结 论 对于二元对称信道，由图可以看出信道容量等于 1-H(P) 信息论与编码 * * 西北大学信息学院 3.2.1 无干扰离散信道 设信道