第3章信道及信道容量.pptVIP

当信源概率分布 信道容量 四、 N次扩展信道及信道容量 1、多符号离散信道与N维离散无记忆信道 对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，其信道矩阵 信道容量的计算步骤 Z信道 的信道容量C及达到信道容量 的信源概率分布P(X) 例7 习题：(P99) 3.1、3.2 二、对称信道及信道容量 1、对称信道 矩阵中每一行都是集合　　　　　　　中各元素的不同排列，该矩阵行可排列；每一列都是集合 中各元素的不同排列，该矩阵列可排列 信道矩阵既行可排列，又列可排列，该矩阵所表示的单符号离散信道为对称信道 定义 对称信道中，当mn时，P是Q的子集；当m=n时，P =Q 例1 判断下列信道矩阵所表示的信道是否为对称信道？ ? 行可排列 列可排列 行可排列 不存在P，列不可排列 × 2、对称信道的信道容量 m=n=2时的对称信道为二进制对称信道BSC，一般记为 对称信道行可排列 信宿等概时最大 最大值可达条件 对称信道列可排列，不失一般性，设对称信道的信道矩阵 对称信道的信道容量 BSC的信道容量 例2 信道　　　　　　　　　　的信道容量及达到信道 容量的信源概率分布 信道矩阵既行可排列，又列可排列，该矩阵所表示的信道为对称信道 信源概率分布 信道容量为 三、准对称信道及信道容量 信道矩阵行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的各子信道矩阵都列可排列，该矩阵所表示的单符号离散信道为准对称信道 信道矩阵 定义 1、准对称信道 行可排列 不存在P，列不可排列 按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，该信道为准对称信道 二进制删除信道是准对称信道，二进制删除信道一般记为 准对称信道行可排列 2、准对称信道的信道容量 信宿等概的最大值是否可达？ 如果信宿等概 矛盾！无解，不可达 按列分为s个不相交的子集，各子集构成的各子信道矩阵都列可排列 对应于子信道的各子信宿等概时最大 最大值可达条件 子信道矩阵列可排列，不失一般性，设第k个子信道矩阵 准对称信道的信道容量 二进制擦除信道的信道容量 的信道容量及达到信道容量时的信源概率分布 例1 行可排列 不存在P，列不可排列 按列分成两个不相交的子集后，两个子集构成的子矩阵 都列可排列，该信道为准对称信道 当信源概率分布 信道容量 的信道容量及达到信道容量时的信源概率分布 例2 行可排列 不存在P，列不可排列 按列分成两个不相交的子集后，两个子集构成的子信道矩阵 都列可排列，该信道为准对称信道 * 信道及信道容量 * 一、单符号离散信道及信道容量 1、单符号离散信道 定义 对应于单符号离散信源和单符号离散信宿的信道为单符号离散信道 表示 信源符号X取值于集合 第3章 信道及信道容量 X P(Y/X) Y 信宿符号Y取值于集合 x1 x2 xn y1 y2 ym P(y1/x1) … … … P(ym/xn) P(y2/x2) 例1 例2 例3 2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量 转移概率P(yj /xi )对数的负值为信道关于发出消息xi和接收消息yj的条件信息量，用I(yj/xi) 表示 定义 信宿消息yj的自信息量I(yj)减去信道关于发出消息xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj所含信源消息xi的互信息量，用I(xi; yj)表示 表示 例4 信宿消息0所含各信源消息的互信息量 3、平均互信息量 各互信息量的数学期望为平均互信息量，也叫交互熵，用I(X;Y)表示 定义 表示 4、平均互信息量的意义 条件熵H(Y/X)是信道给出的平均信息量，称为噪声熵，也称为信道散布度 条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量，称为损失熵，也称为信道疑义度 H(X/Y) H(X) H(Y/X) H(Y) I(X;Y) 以信源为参考，利用信源的熵和信道的损失熵来度量信道中流通的平均信息量 以信宿为参考，利用信宿的熵和信道的噪声熵来度量信道中流通的平均信息量 5、平均互信息量的主要性质 ①对称性 ②非负性 ③极值性 X与Y相互独立时， X与Y一一对应关系时， ④严格凸函数性 信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数 例5 平均互信息量 平均互信息量及p-I(X;Y)和q-I(X;Y) 曲线 例6 信道固定时q为常数，作p-I(X;Y)曲线 0 0.5 1 I(X;Y) 1-H(q) p 信源固定时p为常数，作q-I(X;Y)曲线 0 0.5 1 I(X;Y) H(p) q 平均互信息