基于EM计算信道容量.docx

信息论与编码技术课程设计(论文)设计（论文）题目基于EM的信道容量计算学院名称管理科学学院专业名称信息与计算科学学生姓名朱宇恒、王军、李诗文学生学号201407020208、201407020123、201407020218指导教师梁元设计（论文）成绩教务处 制2016 年 12 月 16 日基于EM的信道容量计算摘 要结合期望最大的基本原理，运用迭代算法计算离散信道容量。迭代算法的基本思想是：设后验概率p（|）为自变量，并且假设存在一个反向试验信道，反向信道在的转移矩阵就是由p（|）构成的，这样平均互信息量I（X;Y）就可以表示为信道转移矩阵和反向转移矩阵的函数，通过反向矩阵修正信道输入概率的分布，迭代计算I（X;Y）直到其趋向平稳为止。关键词: 期望最大思想；迭代算法；反向信道矩阵 目录第1章 前 言11.1内容及要求11.2 研究思路及结构安排11.3 算法思想1第2章 相关理论知识32.1 EM思想32.2 迭代思想3第3章 算法设计与分析43.1 算法步骤43.2 算法流程5第4章 程序实现与测试64.1 源程序64.2 输入数据84.3 输出结果9第5章 结 论10参考文献11第1章 前 言1.1内容及要求基于期望极大的思想，采用迭代算法计算一般信道容量。1.2研究思路及结构安排对于一般离散信道而言，信道容量的求解是复杂的，所以根据EM思想引入一个反向实验信道。图1-1 正向实验通道图1-2 反向实验通道引入反向实验信道后，平均互信息I（X;Y）就是输入概率分布p（）（i=1,2,…,r）和反向概率分布p（|）的函数，简记为I(Р,Φ),即I(Р,Φ)=其中，Р，Φ分别表示信道输入概率矢量和反向试验信道的转移矩阵。1.3 算法思想以反向转移概率分布p（|）为自变量，首先假设信道输入概率p（）（i=1,2,…,r）保持不变，而信道转移概率p（|）是固定不变的，因此I(Р,Φ)是变量Φ的∩型凸函数，可以求出达到最大值时，反向试验信道的概率分布p（|）为：p（|）=（i=1,2,…,r；j=1,2,…,s）此时，求得的反向概率p（|）是在输入分布给定的条件下，使I(Р,Φ)达到极值的最佳反向传递概率分布={ p（|）}。可见，当输入分布给定时，要使达到极大值所需的条件是：==由上式结果可知，信道容量可以表示为：C==即C可由函数的双重最大化得到。第2章 相关理论知识2.1 EM思想最大期望算法经过两个步骤交替进行计算：第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。总体来说，EM的算法流程如下：1.初始化分布参数2.重复直到收敛：E步骤：估计未知参数的期望值，给出当前的参数估计。M步骤：重新估计分布参数，使得数据的似然性最大，给出未知变量的期望估计。2.2 迭代思想任意选择初始输入概率分布。一般情况下，往往选择初始分布为等概率分布=(,),然后进行下一步计算，令迭代序号为n=1,2，… 。则第n步迭代可以得到如下公式：（|）==exp[]C(n,n)=C(n+1,n)=ln根据初始输入概率分布，先计算（|）,迭代算出（），然后利用（）计算出（|），再计算（），继续计算下去，可以证明当n趋向无穷大时，C(n,n)=C(n+1,n)=C。在实际计算中，只需要逐次比较C(n,n)和C(n+1,n)的值，当两次计算值的差已小到可以容忍的误差范围内时，即可停止迭代计算，认为C(n+1,n)就是信道容量C。第3章 算法设计与分析3.1 算法步骤(1)任意选取初始概率分布（），并置n=1；(2)由下式计算出（|）（|）=(3)利用（）和（|），由下式计算C(n,n)C(n,n)=(4)利用（|），由下式计算（）（）=(5)将（|）代入，求出C(n+1,n)C(n+1,n)=ln(6)如果| C(n+1,n)- C(n,n)|= ,转向(7)；否则令n+1→n,转向(2)(7)输出计算出的信道转移概率（）和信道容量C(n+1,n)。3.2 算法流程图3-1 信道容量迭代算法流程图第4章 程序实现与测试4.1 源程序#include stdio.h #include math.h #includestdlib.h #define N 3 #define M 4 /*转移矩阵行数为N，列数为M，自行调整*/ void Init(double *Pa); void Input(double *Pa,double *a); void Output(double *Pa,double P[N][M],double *Pb); void Infor(double *