信息论要求整理.docVIP

实验一 绘制熵函数曲线 一、实验目的 掌握离散信源熵的计算，练习应用matlab等软件进行函数曲线绘制。 理解信源熵的物理意义。 二、实验原理 1、离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量) 定义信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即： 单位为比特/符号或比特/符号序列 （1）某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。 （2）信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。 （3）当某一符号 的概率 为零时， 在熵公式中无意义，为此规定这时的 也为零。当信源X中只含一个符号 时，必定有 ，此时信源熵H（X）为零。 某信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 则二元信源熵为 H（X）= -plogp-qlogq = -plogp-(1-p)log(1-p)=H(p) 2、matlab绘图 MATLAB 的二维绘图简单假设有两个同长度的向量 ?x 和 y, 则用 plot(x,y) 就可以自动绘制画出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图，如果未打开窗口，则开一个新的窗口绘图。 例正弦曲线绘制： t=0:.1:2*pi;　%生成横坐标向量，使其为 0,0.1,0.2,...,6.2?? y=sin(t); % 计算正弦向量?? plot(t,y) %绘制图形 这样立即可以得出如图所示的二维图 plot() 函数还可以同时绘制出多条曲线，其调用格式和前面不完全一致，但也好理解。 y1=cos(t); plot(t,y,t,y1); %或 plot(t,[y; y1]), 即输出为两个行向量组成的矩阵。Matlab软件制作二进熵函数曲线，由于比较简单，绘图方法请同学们自己思考完成。并且可以尝试进行多进制熵函数曲线的绘制。下图为使用Excel绘制的函数曲线例子。 图1.2 Excel绘制熵函数曲线 下图为用matlab编写代码画图的例子 图1.3 matlab绘制熵函数曲线 四、实验要求 提前预习实验，认真阅读实验原理以及相应的参考书。 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。 认真填写实验报告。 实验二 二元对称离散信道容量 一、实验目的 掌握离散信道容量的计算，练习应用matlab等软件进行函数曲线绘制。 理解离散信道容量的物理意义。 二、实验原理 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 二元对称信道BSC（Binary Symmetric Channel） 故BSC的信道容量为 讨论： ? 无噪声干扰（即p=0）时，损失熵为0，信道容量就等于信源发出的码元速率，即CT=R； ? p=1/2时，C=0，信道已无传输信号的能力。 思考：为什么当p从1/2逐渐增大到1时，C反而逐渐增加，而当p=1时达到最大值1？ 三、实验内容 用Excel或Matlab软件绘制二元对称离散信道容量函数曲线，绘图方法请同学们自己思考完成。下图分别为使用matlab和Excel绘制的函数曲线例子。 图2.1 Exel绘制信道容量曲线 图2.2 matlab绘制信道容量曲线 四、实验要求 提前预习实验，认真阅读实验原理以及相应的参考书。 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。 认真填写实验报告。 实验三 哈夫曼编解码 一、实验目的 掌握哈夫曼编码的原理及编码步骤 练习matlab哈夫曼编码函数的调用及通信工具箱的使用 二、实验原理 变字长编码的最佳编码定理：在变字长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长度一定小于按任何其他符号顺序排列方式得到的码字长度。 哈夫曼编码就是利用了这个定理，将等长分组的信源符