信息论与编码-曹雪虹-1第3章ppt课件.pptx

.第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量

.3.1信道分类和表示参数信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、 波形信道

.3.1信道分类和表示参数信道参数信道种类

.3.1信道分类和表示参数二进制对称信道（BSC）

.3.1信道分类和表示参数离散无记忆信道

.3.1信道分类和表示参数离散输入、连续输出信道

.3.1信道分类和表示参数波形信道

.3.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量比特/符号（bits/symbol或bits/channeluse）

.3.2离散单个符号信道及其容量无干扰离散信道的信道容量

.3.2离散单个符号信道及其容量X、Y一一对应C＝maxI(X;Y)＝logn多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出C＝maxI(X;Y)＝maxH(X)

.3.2离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称

.3.2离散单个符号信道及其容量对称DMC信道例子

.3.2离散单个符号信道及其容量输入对称输出对称

.3.2离散单个符号信道及其容量对称信道容量

.3.2离散单个符号信道及其容量Eg.求信道容量

.3.2离散单个符号信道及其容量Eg.求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－?，错误概率?被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例

.3.2离散单个符号信道及其容量二进制对称信道容量C＝1－H（?）

.3.2离散单个符号信道及其容量串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…

.3.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量

.3.2离散单个符号信道及其容量信道容量I(X;Y)=1-H(?)，I(X;Z)=1-H[2?(1-?)]

.3.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道

.3.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量

.3.2离散单个符号信道及其容量Eg.求信道容量方法一：信道的输入符号有两个，可设p(a1)＝?，p(a2)＝1－?信道的输出符号有三个，用b1、b2、b3表示

.3.2离散单个符号信道及其容量方法二当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法三将转移概率矩阵划分成若干个互不相交的对称的子集n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数

.3.2离散单个符号信道及其容量方法三

.3.2离散单个符号信道及其容量Eg.求信道容量

.3.2离散单个符号信道及其容量一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法I(ai;Y)=C 对于所有满足p(ai)0条件的II(ai;Y)?C 对于所有满足p(ai)=0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外

.3.3离散序列信道及其容量离散序列信道信道p(Y/X)YXX=(X1X2…XL)Xl?{a1,a2,…,an}Y=(Y1Y2…YL)Yl?{b1,b2,…,bm}

.3.3离散序列信道及其容量离散无记忆序列信道11111进一步信道是平稳的

.3.3离散序列信道及其容量离散无记忆序列信道11111