大三下-信息论实验报告.doc

实验1 绘制二进熵函数曲线、串联信道容量曲线 一、实验内容 用Excel或Matlab软件制作二进熵函数曲线、串联信道容量曲线。 二、实验环境 计算机 Windows 2000 或以上 Microsoft Office 2000 或以上 Matlab 6.0或以上 三、实验目的 掌握Excel的数据填充、公式运算和图表制作 掌握Matlab绘图函数 掌握、理解熵函数表达式及其性质 四、实验要求 提前预习实验，认真阅读实验原理以及相应的参考书。 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。 认真填写实验报告。 五、实验原理 Excel的图表功能（略） 信源熵的概念及性质 串联信道的信道容量（图 1）。 图 1 三个二元对称信道（BSC）的串联 串联 信道转移矩阵 信道容量 I I,II I,II,III p=0.00001:0.001:0.9999; h=Hp(p); plot(p,h); title(熵函数) p=0.00001:0.001:0.9999; c=1-Hp(p.^3+3.*p.*(1-p).^2); plot(p,c); title(信道容量) p=0.00001:0.001:0.9999; c1=1-Hp(p); c2=1-Hp(2*p.*(1-p)); c3=1-Hp(p.^3+3.*p.*(1-p).^2); subplot(3,1,1) plot(p,c1); title(CⅠ); subplot(3,1,2) plot(p,c2); title(CⅠⅡ); subplot(3,1,3) plot(p,c3); title(CⅠⅡⅢ); 实验4 容量代价函数的计算程序设计 问题的提出： 假定一个离散无记忆信源（DMC）的输入符号集为AX={1,2,...,r},输出符号集为AY={1,2,....,s}，信道的转移概率矩阵P(Y|X):{p(y|x)}；该信道不是免费的，其输入代价为b(x)。 容量代价函数C(β)=sup Cn(β)/n n 如果单位时间内占用信道的平均代价必须≤β，则C(β)的值表示信道单位时间内能够可靠传输的最大信息量。 计算容量代价函数C(β)在通信领域，密码学等方面均有着很重要的用途。 对于一般信道要求出C(β)非常困难,计算过程繁琐，很容易计算错误。 解决问题的原理方法： 1．C(()的一般计算方法： 计算(min是很容易的。； 当(min (((( max时， (1) 并且P(x)(0 (2) 的约束下求平均互信息量 的条件极大值。为此引入待定常数S和(，并作辅助函数 (3) 其中 由得， (4) 上式两边同乘以p(x)并对x求和。 即C(()=loge+S(+( (5) 显然(4)提供r个方程，再加上(1)(2)的方程，共r+2个方程；而有r个未知数p(x)、及S 、(，共r+2未知数，显然可以求解。一般来说，S、(是(的函数。(1)(2)(4)组成的r+2个方程是一个非常复杂的非线性方程组。 (4)式可以写成矩阵形式: 2．一般非线性方程组求解方法： 下面介绍求非线性方程组一组是实根的梯度法： 设非线性方程组为 并定义目标函数为： 则梯度法的计算过程如下： 选取一组初值x0,x1,...,xn-1 计算目标函数值F 若F(，则X=(x0,x1,...,xn-1)即为方程组的一组实根，过程结束；否则继续。 计算目标函数在(x0,x1,...,xn-1)的偏导数 再计算 计算 其中(=F/D。重复(2)~(5)直到满足精度要求为止。 在上述过程中，如果D=0，则说明遇到了目标函数的局部极值点，此时可改变初值在试试。 在我们的问题中，不会遇到该问题。另在计算中我们限制一个最大循环次数，以防D过小，使计算时间过长的情况。 解决问题的具体方法： 用Matlab画出容量代价函数C(()的曲线图。 为了计算一给定代价信道的容量函数，要用3个MATLAB函数，如下： Cfun CFUN 代价容量方程组，用于信道容量 x 输入,一行m+2列(1*(m+2) beta 平均代价，标量 b 代价矩阵，一行m列(1*m) Py_x 转移概率矩阵,m行n列(m*n) 代码： function F=Cfun(x,beta,b,Py_x) %CFUN 代价容量方程组，用