信息论与编码-第10、11讲-第3章信道容量(新).ppt

* * ④ 结 论 无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关。 * * (2) 强对称离散信道的信道容量 ① 什么是强对称离散信道 ② 强对称信道矩阵特点 ③ 强对称离散信道的信道容量 ④ 输入是什么概率分布时达到信道容量 ⑤ 二进制均匀信道 * * ① 什么是强对称离散信道 单符号离散信道的X和Y取值均由n个不同符号组成，即 X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn} 信道矩阵为 这种信道称为强对称/均匀信道。 这类信道中：总的错误概率是p，对称平均地分配给(n-1)个输出符号。 信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列之和不一定等于1。 * * ② 强对称信道矩阵特点 强对称信道矩阵，它的每一行和每一 列都是同一集合各个元素的不同排列。 由平均互信息定义： Hni的意义：是固定X=xi时对Y求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以 当xi不同时，Hni只是求和顺序不同，求和结果完全一样。所以Hni与X无关，是一个常数。 * * ③ 强对称离散信道的信道容量 因此 如何达到信道容量：求一种输入分布使H(Y)取最大值。 现已知输出符号集Y共有n个符号，则H(Y)≤log2n。根据最大离散熵定理，只有当p(yj)= (1/n)，即输出端呈等概率分布时， H(Y)才达到最大值log2n 。 要获得这一最大值，可通过公式 寻找相应的输入概率分布； 一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。 * * ④ 输入是什么概率分布时达到信道容量 强对称离散信道的输入和输出之间概率关系可用矩阵表示为 信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保 证了当输入符号X是等概率分布， 即p(xi)=(1/n)时，输出符号Y一定是等概率分布，这时H(Y)=log2n。相应的信道容量为 * * 结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。 这个信道容量只与信道的输出符号数n和相应信道矩阵中的任一行矢量有关。 * * ⑤ 二进制均匀信道 当n=2时的强对称离散信道就是二进制均匀信道。 二进制均匀信道 的信道容量为： 二进制均匀信道容量 曲线如图3.2.5所示。 * * (3) 对称离散信道的信道容量 ① 可排列性 ② 对称离散信道定义 ③ 对称离散信道的信道容量 * * ① 可排列性 行可排列：一个矩阵的每一行都是同一集合Q{q1,q2,…,qm}中诸元素的不同排列。 列可排列：一个矩阵的每一列都是同一集合P{p1,p2,…,pn}中诸元素的不同排列。 矩阵可排列/具有可排列性：一个矩阵的行和列都是可排列的。 第三章 信道容量 * * 3 信道容量 信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。 3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理 * * 引言 什么是信道？ 信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 * * 3.1 信道的数学模型和分类 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道 * * (1) 一般信道的数学模型 ① 信道的输入输出关系 ② 一般信道的数学模型 * * ① 信道的输入输出关系 信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真； 信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系； 知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。 * * ② 一般信道的数学模型 信道的一般数学模型如图3.1.1所示 数学模型的