离散信源-信息与通信工程.pptVIP

6.11 例 解： 设离散无记忆信道的输入 ，输出 ，且有 计算 单击此处添加标题 6.4.1 多维矢量信道输入与输出的性质 信息论 证 ★ 定理6.6 对于无记忆信源，有： 等式成立条件： 单击此处添加标题 6.4.1 多维矢量信道输入与输出的性质 信息论 ★当信道无记忆时 即当信源信道都无记忆时，等式成立。 单击此处添加标题 6.4.1 多维矢量信道输入与输出的性质 信息论 设无记忆信源X的5次扩展源为X5，信道为下面矩阵所示的置换信道，其中第1行为输入的序号，第2行为信道输出的序号，例如X1输出到Y4，X2输出到Y2等。计算 6.12 例 解： 单击此处添加标题 6.4.1 多维矢量信道输入与输出的性质 信息论 ★ 结论： 1）对于无记忆信源和无记忆信道，有： 2）对于平稳信源，因为Xi、Yi同分布,因此： 对于平稳离散无记忆信道(DMC)的N次扩展信道，当信源无记忆时,有 单击此处添加标题 6.4.1 多维矢量信道输入与输出的性质 信息论 凸函数 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 N次扩展信道 单符号离散信道 N长的随机序列 N长的随机序列 新信道 原序列的N次扩展信道 信息论 Page ? * 单击此处添加标题 一 二 N次扩展信道的描述要满足一般的信道数学模型的描述，但符号集为同分布符号的扩展，即各Xi的分布都相同 信道的输入和输出集合分别为 和 ，所包含的矢量分别为 三 信道可通过下式来计算 凸函数 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 信息论 ★ 一个信道的N次扩展信道是N个原信道的Kroneck乘积 例 设输入与输出符号集的尺寸分别为r、s， 则N次扩展信道的输入与输出符号集的尺寸分别为 则，信道的转移概率为： 单击此处添加标题 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 信息论 求错误概率为p的二元对称信道的二次扩展信道的转移概率矩阵。 6.13 例 解： 2次扩展信道的转移概率矩阵： 单击此处添加标题 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 信息论 对于平稳信道，有 ★ 离散无记忆N次扩展信道的容量 达到容量时，信源是无记忆的。 当信源无记忆时等号成立，其中 单击此处添加标题 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 信息论 求该二次扩展信道的容量。 6.13(续) 例 解： 由例6.6可得，错误概率为p的二元对称信道的容量 ，根据式(6.39),该信道的二次扩展信道容量为 单击此处添加标题 §2.1.1 条件自信息 6.4.2 离散无记忆扩展信道及其容量 信息论 ★并联信道的定义 由若干并行的单符号子信道组成 在每单位时间，发送端都同时通过每个子信道发送不同符号集的消息 每子信道的输出仅与该子信道的输入有关 当各Xi相互独立时，等式成立。 单击此处添加标题 §2.1.1 条件自信息 6.4.3 并联信道及其容量 信息论 求下图信道的容量和达到容量时的输入概率分布。 6.14 例 解： 从信道的转移概率图可以看出，两个子信道是独立的，所以构成一个二维并联信道。所求信道容量为 比特/符号 达到容量时，输入 相互独立，且均为等概率分布。 单击此处添加标题 §2.1.1 条件自信息 6.4.3 并联信道及其容量 信息论 ★和信道的定义 一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交 信道总的输出与输入集合分别为各子信道输出与输入之并集 每次传输只能用一个子信道 单击此处添加标题 §2.1.1 条件自信息 6.4.4 和信道及其容量 信息论 ★定理6.7 对于和信道，信道容量为 比特/符号，其中 Ci 为每个子信道的容量，第i个子信道使用概率为 ，达到容量的输入概率为各子信道达到容量时的概率再乘以 。 单击此处添加标题 §2.1.1 条件自信息 6.4.4 和信道及其容量 信息论 6.15 例 一信道的转移概率如图所示，求信道容量和达到容量时的输入概率。 解： 其中p为不大于1的正数 单击此处添加标题 §2.1.1 条件自信息 6.4.4 和信道及其容量 信息论 ★ 信道达到容量时的输入概率分布不一定唯一。（对于对称信道是唯一的) ★ 对应于信道容量的输出概率是唯一的。 ★ 达到容量时的输出概率严格为正。 ★ 对于任意的离散信道的转移概率分布，要利用迭代算法进行计算。 单击此处添加标题 §2.1.1 条件自信息 关于信道容量的注释 信息论 1．平稳离散无记忆信道模型： 2．平稳离散无