信息论 第3章 离散信道及信道容量.pptVIP

合肥学院电子系胡学友 第3章 离散信道及信道容量 主要内容 ◆ 信道的数学模型和分类 ◆ 信道传输的平均互信息 ◆ 信道容量的概念及其计算方法 3.1 信道的数学模型和分类 3.1.1 信道的分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连 续、波形信道 3.1.2离散信道的数学模型 （1）0≤ p(bj/ai) ≤ 1 (i=1,2,…,r；j=1,2,…,s) 3.1.3 单维离散信道数学模型 二元删除信道（BEC） 3.2 平均互信息和平均条件互信息 3.2.1信道疑义度 信道疑义度含义：表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的不确定性（存在疑义） 这个尚存在的不确定性是由于干扰（噪声）引起的。 若无干扰，信道疑义度H(X|Y)＝0 3.2.2 平均互信息 H(X)在收到输出Y以前，关于输入X的不确定性度量 H(X|Y)表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的不确定性 通过信道传输消除了一些不确定性，获得的信息： 已知信源 接到如下信道中去，求信道上传输的平均互信息以及疑义度，噪声熵和联合熵。 3.2.3 平均条件互信息 3.3 平均互信息的特性 非负性 詹森不等式： 若f是上凸函数时（ 函数），有 极值性 交互性 定理： 1)平均互信息I(X;Y)是输入信源概率分布P(x) 的 型函数 2)平均互信息I(X;Y)是信道传递概率P(Y|X) 的 型函数 3.4 信道容量及一般计算方法 信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 信道容量 比特/符号（bits/symbol或bits/channel use） 离散无噪信道的信道容量 无噪无损信道 3.5对称离散信道的信道容量 对称信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的信道 如果输入、输出都对称 输入对称 例题. 求信道容量 3.6准对称离散信道的信道容量 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称信道 例题. 求信道容量 方法二 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号 方法三 3.7 一般离散信道的信道容量 3.8离散无记忆扩展信道及其容量 离散序列信道 例题：二次扩展信道 3.9独立并联信道及其容量 独立并联信道 序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) （a） （b） （c） （a）（b） 对称 （c）不对称 输出对称 =常数，且 ? 当输入等概时，即 ?比特/符号 强对称信道 信道输入符号和输出符号的个数相同，都为r，且正确的传输概率为1－p，错误概率p被对称地均分给r-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例 二元对称信道，即r=2 信道矩阵可划为互不相交子集，每个子集是对称的，且互不相交 可以证明，准对称信道容量为： 其中，Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和 例题 ? 二元对称删除信道 方法一： 信道的输入符号有两个，可设p(a1)＝?，p(a2)＝1－?信道的输出符号有三个，用b1、b2、b3表示 方法三 将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数 信道 p(Y/X) Y X X=(X1X2…XL) Xl?{a1,a2,…,ar} Y=(Y1Y2…YL) Yl ?{b1,b2,…,bs} 离散无