第3章离散信道重点.pptVIP

对于这种信道，易知其信道疑义度 * 2. 有噪无损信道：有噪无损信道，一个输入对应多个输出。(具有扩展性能） * 对于这种信道，每个输入符号通过信道后可能变成几种输出符号，因此噪声上H(Y|X)≥0.但各输出符号所对对应的输出符号不相重合，且这些集合与各输入符号一一对应。这就意味着接收到符号Y后，对发送X的符号可以完全确定，信道疑义度H(X|Y)=0。 * 结论： 由上述两种信道的特点可以看出：若信道转移矩阵中每一列有且仅有一个非零元素（即每个输出符号对应着唯一的输出符号），则该信号一定是无损信道。其输出传送率即等于信源熵，信道容量等于logr * 3. 无噪有损信道：无噪有损信道，它是一个输出对应多个输入。（具有归并性能） * 3.2.2 对称离散的信道容量 定义：若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为对称离散信道。 * * 练习：判断下列矩阵表示的信道是否是对称信道 * 相应的 对称离散信道的信道容量 * 例： 某对称离散信道的信道矩阵为 信道容量为: 例： 某对称离散信道的信道矩阵为 若信道的输入输出符号r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对称信道或均匀信道。 * 强对称信道具备四个特征： 1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称) 2. 信道输入与输出消息（符号）数相等，即 r=s。 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。 4. 不仅每一行元素之和为1，每一列元素之和也为1。 显然，对称性的基本条件是1，而2、3、4是加强条件。 * 推论：对于强对称信道有：C=logr-plog(r-1)-H(p) s = r * 3.2.4 扩展信道与并联信道的信道容量 1、离散无记忆信道的N次扩展信道 * 定义：若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为DMC (discrete memoryless channel)。 输入、输出随机序列的长度为N的离散无记忆平稳信道通常称为离散无记忆信道的N次扩展信道。 单符号离散信道的数学模型 X Y x1 x2 xr y1 y2 ys p(yj |xi) * 2.信道疑义度H(X|Y) 理想信道，H(X|Y)=0。 一般情况下 ， 。 当 时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。 是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵 信道疑义度H(X|Y) 表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。 * 3.平均互信息及其性质 互信息量： yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。 * 观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。 观察者站在输入端： 观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确定度的差。 观察者站在通信系统总体立场上：通信后的互信息量，等于前后不确定度的差。 3.平均互信息及其性质 * 平均互信息： 平均互信息表示接收到Y以后，平均每个符号所获得的关于输入变量X的信息量，是信道实际传输信息的数量。 信源熵是信源输出的信息量，而真正被接收者收到的信息量则是互信息。 3.平均互信息及其性质 * * 平均互信息量定义：互信息量 I(xi;yj) 在联合概率空间 P(XY) 中的统计平均值。 从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 3.平均互信息及其性质 * 站在输出端：I(X;Y)—收到 Y 前、后关于 X 的不确定度减少的量。从 Y 获得的关于 X 的平均信息量。 站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定度减少的量。 站在总体：I(X;Y) —通信前、后整个系统不确定度减少量。 3.平均互信息及其性质 平均互信息的性质 非负性 1 说明：信道每传递一条消息，总能提供一定的信息量。 极值性 2 * 对称性 3 说明：从X中提取关于Y的信息量与由Y中提取到X的信息量是相同的，是信息流通的总体测度。 * 凸函数性 4 1 2 * I(X;Y)= H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)