信息论与编码05(20-28).pptVIP

信息论与编码第五章 第5.1节 信道的分类及其描述 ⅱ、按输入/输出消息集合的个数： 1、两端信道（two-end channel） 2、多端信道（multi-end channel） ⅲ、按输入/输出信号的关系是否确定： 1、无扰信道 2、有扰信道 ⅳ、按输入/输出之间的记忆性： 1、无记忆信道 2、有记忆信道 ⅴ、按统计特性来分： 1、恒参信道 2、变参信道 第5.2节 无扰离散信道的传输特性 2、信道容量C ⅰ、定义： 信道所允许的最大传输速率: C=Rmax 当取单位为 bit/s（bps）时: Ct=Rtmax ⅱ、信道容量与信道中传输的消息数目之间关系: 3、几种典型的无干扰信道的信道容量： ⅰ、均匀编码信道的信道容量 信道基本符号： 信道上所允许传输的符号 均匀编码信道： 基本符号时间等长的信道 码元：等长的基本符号， 持续 b 秒的 D 进制脉冲 因为： 所以： 单位：bps 当以一个码元的时间为标准时： （bit/码元时间 书上P.97页： 例5.1 ⅱ、无固定约束的不均匀编码信道的信道容量 基本符号 ：是等幅、不等长脉冲（占用时间不同） 例： 脉冲时间调制：pulse time modulation = PTM PTM: 从最窄脉冲到最宽脉冲连续变化 最窄脉冲的宽度：单位码元 其他脉冲的宽度：是单位码元的倍数 脉冲宽度： 量化为有限种信道基本符号 D种信道基本符号：a1, a2, …, aD；对应的占用时间为： t1, t2, …, tD； 时间 T 内可能构成的符号总数 N(T): N(T) = N(T-t1) + N(T-t2) +….+ N(T-tD) ⅲ、有固定约束的不均匀编码信道的信道容量(转移受限制) 传输 莫尔斯 (Morse) 电码的信道 书上P.98页： 表5.1 Morse 电码的构成表 四种符号分别为：a1, a2, a3, a4 ‘点、划’ 为状态1；‘字母间隔、单词间隔’ 为状态2； t6 的间隔：均作为单词间隔 不允许 出现 2 个以上的字母间隔或单词间隔； 图5.2 状态转移图 (转移受限制) 第5.3节 有扰信道的传输特性 1、数学模型： ： 信道传输概率 信源发出xi信息，信宿收到yj信息的条件概率 M×L个条件概率 ? M×L矩阵 ? 信道矩阵 Shannon线图： 有扰信道与无扰信道在 Shannon图上的区别。 2、二机制对称有扰信道： （binary system channel, BSC） ε: 交叉传输概率， 有干扰引起 信道矩阵： 3、二进制删除信道 第5.4节 译码准则 第5.5节 有扰离散信道的信道编码定理 相当于重发3次，取可能性最大的情况 1）3次重复编码 X=x1x2x3 23=8种符号 选2种许用码组，其余为不用码组，提高可靠性 2）编码冗余度 — PEmin 令N代表重复次数 M：原单符号信道输入符号数，对于BSC，M=2 则每个消息符号携带的最大平均信息量为16M R=lbM / N （比特/码元） 2、汉明距离与编码准则 最小汉明距离， 的 3、有扰离散信道的信道编码定理 香农第二定理意义： 对于有噪声信道，只要信道编码采取足够的码长N， 总可以找到某种编码方式，能使其传输错误概率任意小，且信道上的信息传输速率接近信道容量条件 RC 但 R 可以无线接近于信息容量 C 香农第二定理 （抗干扰信道编码定理） 设信道有 D个输入符号，