信息论基础讲义解说.ppt

信息论基础 Fundamentals of Information Theory 引言 1948年，Claude Shannon（克劳得·香农）在他的经典论文“A Mathematical Theory of Communication”(通讯的数学理论)的引言部分中写道： “通讯中的基本问题就是在某一点精确或近似地再生另一点选择的信息。” 为解决这一问题，他在该论文中提出了应用数学的一个全新分支，现在称之为信息理论和/或编码理论。 香农提出的信息理论是一种基于统计意义上的信息理论。这一理论对通讯技术的发展产生了持久和深刻的影响。 二进制对称信源 （简称信源） 一个可以发出定义为“0”和“1”的两种特定符号的实体 速率为单位时间内 R 个符号。 我们称这些符号为比特（bits）。 信源随机地发出这些比特，“0”和“1”发出的概率相同。 假设信源速率 R 是连续变化的， 即 R 可以是任何非负的数值。 二进制对称信道 （简称BSC） 在一个单位时间内可以传输 1 比特数据的实体。 但该信道并不是完全可靠的： 存在一个固定的概率 p （称为原始误比特率），满足 ,使输出比特与输入比特不相同。 对于给定的一个信源速率 R， 发送者和接收者之间通过BSC的通信可以达到多高的可靠度？ 假设 R＝1/3，（信道传输数据的速度是信源产生数据的3倍） 对每1比特重复编码3次，（在传输之前） 信源输出的前5个比特是 10100 编码流为111000111000000 接收到为101011111001100 （由于存在信道“噪声”，第2，5，6，12，13比特被改变了） 译码为 11100 （采用3个比特多票表决） ，出现了一个错误。 误比特率 Pe Pe ＝ P {2个信道错误} ＋ P {3个信道错误} ＝ 3 p 2 （1 － p) + p 3 ＝ 3 p 2 － 2 p 3 其中 ( p =1/2)， 所以 Pe p 。 如果 R=1/(2n+1) 采用 弱大数定理 分析 如果在信道中传送N个比特，则对于任意ε 0，有： 对Pe(2n+1)做如下估计 结论 如果R的值很小，即使信道本身的噪声很大，也可以使最终的错误概率很小。 速率大于 1 情况下的通讯可靠度？ 如果R1，不妨只传输信源比特的1/R部分，并让接收者以抛硬币的方式猜测其余部分。这种简单方式的最终的误比特率为： R=3 信道只能传输信源所产生比特的三分之一。因此发送者将信源输出分为三比特一组，并且只传输这三比特中占多数的比特。 信源输出： 101110101000101 发送者将在信道中传输11101 如果信道干扰了传输的第2个比特，接收者将收到10101 并扩展为111000111000111，于是就产生了五比特的错误。 误比特率 R＝4/7 (汉明码) 举例说明 译码算法 定义二进制矩阵H为： 伴随式(syndrome) （7，4）汉明码的译码算法 计算伴随式 ； 如果s = 0，设置 ；到4步。 寻找H中唯一与s相同的列，称它为第i列，并设置 的第i位等于1，其余位都为0。 设置 。（这是接收者对传输码字的估计。） 输出 的前四个分量（ ）。（这是解码器对原始信源比特的估计。） PE表示误组率 R＝7/4 将信源序列分为七比特一组，通过前面的译码算法（在此变为“编码算法”）将每组七比特减少到每组四比特，并在信道中传输这四比特，接收者译码时利用接收到的四比特，通过运算奇偶校验式产生附加的三比特。 总结 现在通过一个特定的BSC总结一下所了解的知识。 给定p=0.1，设x=R表示速率，y=Pe表示最终误比特率，对前面讨论的每一个通讯模式在（x，y）平面画出一个点，如图0.1所示。 如果有足够的耐心和智慧，可以继续提出一些特殊的方式，并在图0.1中用点标明。 当然我们的最终目标是希望了解哪些点能够达到而哪些点不能达到。令人难以置信的是，香农已经实现了这个目标。 图0.1 对应BSC(p=0.1)的一些可达到的(R，Pe)点 （n,k）码 图0.2 对应二进制对称信源和BSC的一个（n，k）码 二进制熵函数 可到达与不可到达区域之间的界线 界线中的曲线部分是满足下式的点(R，Pe)的集合： 一般的BSC 图0.5 对应二进制对称信源和BSC(p=0.1)的可到达的(R，Pe)点 习题 将下列矢量译码，假设它们是