第四章信道及信道容量要点.pptVIP

定理4.4 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则 当信源也是无记忆时等号成立。 第四章：信道及信道容量 三、离散多符号信道及其信道容量 1. 离散多符号信道（续8） 对于N次扩展信道，如果信道的输入序列中的每一个随机变量间是无记忆的，且均取值于同一信源符号集并且具有同一种概率分布（取自于同一概率空间），通过相同的信道传送到输出端，则输出序列中的每一个随机变量也取自同一符号集，并且具有相同的概率分布。 第四章：信道及信道容量 三、离散多符号信道及其信道容量 1. 离散多符号信道（续9） 第四章：信道及信道容量 三、离散多符号信道及其信道容量 2. 离散多符号信道的信道容量 由定理4.4，输入、输出序列长为N的离散无记忆信道 当信源无记忆，同时输入序列中的每一个随机变量的分布各自达到最佳输入分布时，N次扩展信道达到信道容量NC。 第四章：信道及信道容量 四、组合信道及其信道容量 1. 独立并联信道 信道模型 X1 Y1 P(Y1|X1) X2 Y2 P(Y2|X2) XN YN P(YN|XN) 第四章：信道及信道容量 四、组合信道及其信道容量 1. 独立并联信道（续1） 级联信道的总的信道矩阵等于这两个串联信道的信道矩阵的乘积。 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道 例 4.9 设有两个离散二元对称信道，其级联信道如图所示，求级联信道的信道容量。 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道（续1） 第四章：信道及信道容量 四、组合信道及其信道容量 2. 级联信道（续2） 第四章：离散信道及其容量 例4 以二元对称信道。信源的概率空间为 信道矩阵为 2. 信道容量的概念（续3） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 2) 固定信道，当 时， 平均互信息取得最大值。 1) 2. 信道容量的概念（续4） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 比特/符号 2. 信道容量的概念（续5） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 3. 几种特殊信道的信道容量 第四章：信道及信道容量 二、离散单符号信道及其信道容量 1. 无损信道：有噪无损信道，一个输入对应多个输出。(具有扩展性能） 3. 几种特殊信道的信道容量（续1） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 2. 无噪信道：无噪有损信道，它是一个输出对应多个输入。（具有归并性能） 3. 几种特殊信道的信道容量（续2） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 3. 几种特殊信道的信道容量（续3） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 3. 无噪无损信道：输入、输出之间有确定的一一对应关系。 3. 几种特殊信道的信道容量（续4） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 3. 几种特殊信道的信道容量（续5） 第四章：信道及信道容量 二、离散单符号信道及其信道容量 第四章：信道及信道容量 二、离散单符号信道及其信道容量 4. 离散对称信道的信道容量 定义1 ： 若信道矩阵P中每行都是第一行的排列，则称此信道是行对称信道。 第四章：信道及信道容量 二、离散单符号信道及其信道容量 4. 离散对称信道的信道容量（续1） 定义2：若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为对称信道。 定义3：虽然不是对称信道，但是信道矩阵可以按列分为一些对称的子阵，则称之为准对称信道。 第四章：信道及信道容量 二、离散单符号信道及其信道容量 4. 离散对称信道的信道容量（续2） 定义4： 若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对称信道或均匀信道。 第四章：信道及信道容量 二、离散单符号信道及其信道容量 4. 离散对称信道的信道容量（续3） 强对称信道具备四个特征： 1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称) 2. 信道输入与输出消息（符号）数相等，即 r=s。 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。 4. 不仅每一行元素之和为1，每一列元素之和也为1。 显然，对称性的基本条件是1，而2、3、4是加强条件。 第四章：信道及信道容量 二、离散单符号信道及其信道容量 4. 离散对称信道的信道容量（续4） 放松对信道的约束，