《信息论与编码》_第3章_信道容量.pptVIP

信道及其容量 3.1 信道容量的数学模型和分类 3.2 单符号离散信源 3.3 多符号离散信源 3.4 连续信道 3.5 信道编码定理 回顾 信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道等 回顾 “离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 3.1 信道容量的数学模型和分类 信道容量的数学模型 信道容量的数学模型 信道容量的数学模型 二元对称信道BSC 当N＝1时 p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01 §3.2 单符号离散信道的信道容量 1 信道容量的定义 2 几种特殊离散信道的容量 3 离散信道容量的一般计算方法 信道容量的定义 信道容量的定义 设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]（是信道的响应特性）确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。 3.2.2 几种特殊离散信道的容量 定义：DMC的转移概率矩阵为 若P的任一行是第一行的置换，则称信道是关于输入为对称的。 若P的任一列是第一列的置换，则称信道是关于输出为对称的。 若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。 3.2.2 几种特殊离散信道的容量 一、离散无噪信道 1、一一对应的无噪信道 例 准对称信道离散信道的信道容量 准对称信道离散信道的信道容量 离散信道容量的一般计算方法 总结C的求法，过程如下： 1.求βj 2.求C 3.求p(bj) 4.求p(ai) 例：信道矩阵如下，求C。 结果 §3.3 多符号离散信道 §3.3.1 多符号离散信道的数学模型 §3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量 3.3.1 多符号离散信道的数学模型 3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道的N次扩展信道 独立并联信道的信道容量 和信道 定义信道的输入事件为全体{x}∪{u}，其中{x}与{u}不相交；共有K+N个输入事件； 信道的输出事件为全体{y}∪{v}，其中{y}与{v}不相交；共有J+M个输出事件； 信道的转移概率矩阵为 和信道 则称该信道为信道1与信道2的和信道（或称并信道）。任一单位时间可随机地选用一个信道，而不能同时选用两个信道 。若选用信道1的概率为P1，选用信道2的概率为P2，则P1+ P2=1。 和信道容量 可加噪声信道：设平稳的（恒参的）时间离散的无记忆连续信道为：输入随机变量为X；噪声随机变量为N；X与N相互独立；输出随机变量为Y=X+N。则称该信道为可加噪声信道。 3.5 信道编码定理 总结 1 信道的数学模型 2 信道的分类 3 离散信道中强对称、对称、准对称和一般信道的信道容量计算 4 连续信道的信道容量计算 5 信道编码定理 * * (积信道) 定义信道的输入事件为全体(x, u)，共有KN个输入事件； 信道的输出事件为全体(y, v)，共有JM个输出事件； 转移概率矩阵为 [p((y, v)|(x, u))](KN)×(JM)， 其中p((y, v)|(x, u))= p1(y|x)p2(v|u)。 则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道） （在物理上，积信道是两个信道的并行使用） * * 积信道 积信道的信道容量为 C=C1+C2， 最佳输入分布为 {(x, u), q(x, u)}，其中q(x, u)=q1(x)q2(u)。 3.4 连续信道 P(Y/X) 连续信道的数学模型 加性连续信道 N Y=X+N p(y/x)=p(n) X