信息论课件信道容量.ppt

4、准对称信道的信道容量计算实例2（3.7延伸） * 延边大学 计算机科学与技术学科 * 当上述矩阵p： 中的p=0时，则得这个信道传递矩阵为： 它是例3.2（P78）中的p=q的特例，所以称为二元纯对称删除信道。 它的信道容量为： C=1-q （比特/符号） * 延边大学 计算机科学与技术学科 * End，Thanks ！ * * 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 延边大学 计算机科学与技术学科 对称离散信道的信道容量准对称信道的信道容量 Copyright@齐鲁小面包.2009 * 延边大学 计算机科学与技术学科 * 3.4.2 对称离散信道的信道容量 * 延边大学 计算机科学与技术学科 * 对称离散信道的定义 对称离散信道容量 对称离散信道容量计算实例 强对称离散信道 强对称离散信道容量计算实例 二元对称信道 1、对称离散信道的定义 * 对称离散信道： 对称性: 每一行都是由同一集{p’1, p’2,…p’s}的诸元素不同排列组成——输入对称； 每一列都是由{q’1, q’2,…q’r}集的诸元素不同排列组成——输出对称。 满足对称性,所对应的信道是对称离散信道。 * 延边大学 计算机科学与技术学科 信道矩阵 1、对称离散信道的定义（续） * 信道矩阵 输入对称输出不对称，不具有对称性,因而所对应的信道不是对称离散信道。 * 延边大学 计算机科学与技术学科 2、对称离散信道容量 * 信道容量： I(X;Y)是输入随机变量X的概率分布P(x)的上凸函数。因此对于一个固定的信道，总存在一种信源（某种概率分布P(x)），使传输每个符号平均获得的信息量最大，也就是每个固定信道都有一个最大的信息传输率，就是信道容量C。 即： 信道容量是描述某一固定信道特性的参量，是信道（每个符号平均）能够传输的最大信息量。 * 延边大学 计算机科学与技术学科 * 延边大学 计算机科学与技术学科 * 对称离散信道的平均互信息： 平均互信息就是收到符号Y后平均每个符号获得的关于X的信息量。 ①I(X;Y)=H(X)-H(X|Y) //接收到输出Y的前后，关于X的平均不确定性的消除量； ②I(X;Y)=H(X)+H(Y)-H(XY) //信源X与输出信源Y的总平均不确定性与XY联合平均不确定性之差； ③I(X;Y)=H(Y)-H(Y|X) //发X前后，关于Y的平均不确定性的消除量； 2、对称离散信道容量 * 延边大学 计算机科学与技术学科 * 采用平均互信息的第③种表达方式求信道容量： 2、对称离散信道容量 信道传递概率，即输入为x，通过信道传输输出y的概率，即前向概率。 2、对称离散信道容量 这一项是固定 时对Y求和，即对信道矩阵的行求和。由于信道的对称性，所以 与x无关，为一常数，即： 由此得： 可得信道容量： * * 延边大学 计算机科学与技术学科 这就变换成求一种输入分布P(x)使H(Y)取最大值的问题了。现在已知输出Y的符号集共有s个符号，则H(Y)≤logs。只有当P(y)=1/s（等概率分布）时，H(Y)才能达到最大值logs。一般情况下，不一定在一种输入符号的概率分布P(x)，能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一个{q’1,q’2，……q’r}集的诸元素的不同排列组成，所以保证了当输入符号是等概率的分布，即P(x)=1/r时，输出符号Y一定也是等概率分布，这时H(Y) =logs。 2、对称离散信道容量 * * 延边大学 计算机科学与技术学科 即： 上式中，第二个等号是假设输入符号是等概率分布。 是信道矩阵中第一列各元素之和， 是信道矩阵中第i列各元素之和。 2、对称离散信道容量 * * 延边大学 计算机科学与技术学科 2、对称离散信道容量 由于信道矩阵的对称性，所以 由上式可得： 对于对称离散信道，当输入符号X达到等概率分布，则输出符号Y一定也达到等概率分布。 * * 延边大学 计算机科学与技术学科 2、对称离散信道容量 * 对称离散信道的容量公式： 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p’1, p’2,…p’s }和输出符号集的个数s有关。 * 延边大学 计算机科学与技术学科 3、对称离散信道容量计算实例（3.5） * 例3.5： 某对