信息电子学院实验指导书格式信息论.docVIP

《一信息论基础一》 实验指导书 童基均编写 适用专业：通信工程 浙江理工大学信息电子学院二OO八年三月 信息论是现代通信与信息工程的理论基础。作为电了信息科学与技 术专业本科生的学科基础课，本课程主要讲授：信息的定义和测度、 信源和信息嫡、连续嫡和信息变差、信道和互信息、平均互信息和信 道容量、数据处理和信息测量理论、无失真信源编码理论和编码方法 等内容。 本课程按“单符号离散信息系统”、“多符号离散信息系统”、“连续信息系统”三个“系统”层面，逐步深入展开，以严密的数学分析贯串始终。通过教学，使学生掌握信息理论的基本概念和信息分 析方法，为今后进一步研究信息科学和信息技术打下坚实的理论基础。 实验一：离散信道容量的迭代计算 实验学时：3 实验类型：（演示、验证、综合、/设计、研究） 实验耍求：（J必修、选修） 一、 实验目的 通过木实验的学习，理解和掌握信道容量的概念和物理意义；了解信道容量 的计算方法尤其是迭代计法；采用计算机编程实现迭代算法。 二、 实验内容 信道容量的概念和物理意义； 信道容量的计算方法； 采用计算机编程实现信道容量的计算 三、 实验原理、方法和手段 离散信道的物理模型为： X \p（Y/X） | Y 信道容量定义为平均互信息的最人值：C = max{/（X；y）} o “（X） 信道容量表征了一个信道传送信息的最人能力，实际中传送的信息量小于 信道容量，否则传送过程屮岀现错误。 由信道容量的定义可知，I（X,Y）的值由信道的传送概率决定的，因而信道 的传递概率决定了信道的信道容量。给定了信道的传递概率，可以通过推导方法 求得信道的信道容量，一般可以求出传递效率达到信道容量时候的输入信号的分 布，但是这种方法不方使计算机实现。 迭代法，便于计算机实现：迭代法分成三个模块，一个迭代计算反向实验 信道p（x\y）,另一个迭代计算p（x）,第三个检查一次迭代前后信道容量误差的变 化是否小于检测值￡ （可取0.0001），如果小于检测值则停止计算，输出结果。 C = max{/(X,K)} = max{工工耳(兀)几伙(歹丨兀)l°g 宾字几伙0 “) X X=max {max V Y W^)x (ylx) logp(x) P(yLv)十丁=max{ V V Px (x)PYlx X =max {max V Y W^)x (ylx) log p(x) P(yLv)十丁 件丫(则刃］ PXM 信道容量的迭代计算具体如下： 求信道容量C就是在H的约束下，求I(X;Y)的极人值。为计算方便，重写下 I(X;Y)式，公式屮的对数取门然数。 /(x,r)= XEAA7lnv^ (1) i J 乙 PiPij i 首先引入反条件概率，即 (2)Px\y(叩 bj) = qjj (2) Pi 迭代算法的要点是，当信道固定(即內固定)时，把I(X;Y)看成是0和qji 的函数，用公式(3)进行信道容量计算的迭代。每一次迭代有两步组成： ⑷将才)固定，在约束工幻产1的条件下变动你，得到I(X;Y)的极大值，记为 i I(X,Y) = C(pJ；q^) = C(n,n)；此时亦)满足(2)式,重写为: 严一川人 (4) i (b) (b)将亦)固定，在约束工卩产1的条件下变动门，得到I(X;Y)的极大值，记为 / /(X,y)= C(^(n+1);略)) = C(n + l,n);此时”曲)满足: (5)力(”+i) _ e 7 (5) Pi (4)与(5)是迭代的基木公式。先取一组龙”)5=1)的初始值，通常选取均匀 分布，由(4)计算qf ,再将此值代入(5)计算依此反复计算下去。每 次迭代都要利用(3)灌I(X;Y)的值。可以设置门限值，当和临的两次计算值I(X;Y) 小于门限值时，就结束迭代过程，此时I(X;Y)的值就是信道容量C。 可以采用下述方法，避免计算反向条件概率，使算法简化： 将(4)代入(5)得 为内In(旳/讥)) (6)°(+1)= Pi € (6) 工g i 其中 (7)()V (“) q i =乙 p； Pa (7) i 将(6) (5)代入(3),得 (8)C(pE);亦))=111工才)“ (8) I 现将算法归纳如下： 设信道输入输出符号集的大小分別为r，5,且8为一个小的正数。且初始概率分 布为均匀分布，即设pi-\!r 计算約=工1切; I 工?】n(?/幻) 计算e =e j 丿=1,?…，厂； 计算 U = X Piai ； / 计算厶=10缶(),/ =log2(max(az)); i 若(ZC/-/L) ￡,转到 6), 否则 Pi = = …厂; 返回1) 输出信道容量的值(比特/符号) 四、实验数据源 P(al)二p@2)=()?5 0-9 2.=1) 2. =1)