信息论和编码技术之实验.docVIP

前两个是别人的，后两个是自己的，学术交流，抛砖引玉。 信息论与编码 实验报告样板 实验室名称：S1-306 实验一　二维随机变量信息熵的计算 教学实验报告 [实验目的] 掌握二变量多种信息量的计算方法。 [实验要求] 1．熟悉二变量多种信息量的计算方法，设计实验的数据结构和算法； 2．编写计算二维随机变量信息量的书面程序代码。 [实验内容] 离散二维随机变换熵的计算 说明： （1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）； （2）分别计算X与Y的熵、联合熵、条件熵：H（X）、H（Y）、H（X,Y）H（X|Y）、I（X|Y）； （3）对测试通过的程序进行规范和优化； （4）编写本次实验的实验报告。 [实验步骤] 实验过程中涉及的各种熵的主要公式（或定义式）： 1、离散信源熵(平均不确定度/平均信息量/平均自信息量) 2、在给定某个yj条件下，xi的条件自信息量为I(xi/yj)，X 集合的条件熵H（X/yj）为 相应地，在给定X（即各个xi）的条件下，Y集合的条件熵H(Y/X)定义为: 3、联合熵是联合符号集合 XY上的每个元素对xiyj的自信息量的概率加权统计平均值，表示X和Y同时发生的不确定度。 [实验体会] 通过本次实验，掌握了离散信源熵、条件熵、联合熵的概念和它们与信源统计分布或条件分布、联合分布之间的关系，并能进行计算。进一步加深了对各种信息熵的物理意义的理解。 附：计算信源熵、联合熵和条件熵的程序代码清单：（可写入实验报告也可不写入） #includestdio.h #includecmath #includeiomanip #includetime.h #includeiostream using namespace std; void main() { int k,n,t=0; double a[4][4],b=0,c=0; srand((unsigned)time(NULL)); for(k=0;k4;k++) { for(n=0;n4;n++) { a[k][n]=rand()%100; t+=a[k][n]; } } cout从0到100间随机取得行列的random函数：endl; for(k=0;k4;k++) { for(n=0;n4;n++) { coutsetw(5)a[k][n]; } coutendl; } cout函数归一化：endl; for(k=0;k4;k++) { for(n=0;n4;n++) { coutsetw(12)a[k][n]/t; } coutendl; } coutH(Y)计算：setw(20)H(X)计算：endl; int e=1; for(k=0;k4;k++) { double i=0,g=0; for(n=0;n4;n++) { i+=(a[k][n]/t); g+=(a[n][k]/t); } coutP(Yk+1)：isetw(8)P(Xe)：gendl; ++e; b-=(i*log(i)/log(2.0)); c-=(g*log(g)/log(2.0)); } coutH(Y)=-∑p(Y)log p(Y)=bendl; coutH(X)=-∑p(X)log p(X)=cendl; cout联合熵H（X,Y）计算：endl; b=0; int r,u,h=0; for(k=0;k4;k++) { for(n=0;n4;n++) { if(a[k][n]!=0) { b-=((a[k][n]/t)*log(a[k][n]/t)/log(2.0)); } else { r=k,u=n; h=1; break; } } } if(h==0) coutH(X,Y)=-∑∑p(X,Y)log p(X,Y)=bendl; else coutP(r+1,u+1)为零，中断,无值endl; cout条件熵H（X|Y）计算：endl; b=0,h=0; for(k=0;k4;k++) { double i=0; for(n=0;n4;n++) { i+=(a[k][n]/t); } for(n=0;n4;n++) { if(a[k][n]!=0) { b-=((a[k][n]/t)*log((a[k][n]/t)/i)/log(2.0)); } else {h=1;break;} }