信心论期末复习课件.ppt

信息论与编码 期末复习 第一章 信源编码 第一章 信源编码 （信息论基础知识） 第一章 信源编码 （信息论基础知识） 第一章 信源编码 （信息论基础知识） 第一章 信源编码 第一章 信源编码 第一章 信源编码 第一章 信源编码 第二章 信道容量和编码 2.3 信道容量 2.4 信道编码 香农三大定理 信道编码 信道编码 第三章 线性分组码 第三章 线性分组码 第三章 线性分组码 伴随式译码 信道编码 第四章循环码 第四章循环码 第四章循环码 信道编码 第六章 卷积码 * * * * 信息论与编码 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素。 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像。 信号 表示消息的物理量，电信号的幅度，频率，相位等等。 广义地说，信息包括一切标准通信媒体的内容。 互信息 I(xi; yj) 自信息 I(xi) 条件自信息 I(xi| yj) 平均 E[ ] 平均互信息 平均自信息（熵） 平均条件自信息（条件熵） 定义1.1 考虑可能输出为xi，i=1, 2, … , n的离散随机变量X 。则事件X= xi的自信息(self-information)定义为： 物理意义：低概率事件意味着高度的不确定性，具有高度不确定性的随机变量带有更多信息。 自信息是非负的， 对数以2为底 → 单位: 比特（bit） 对数以e为底 → 单位: 奈特（nat） 说明 互信息在通信系统中的意义： 通信系统中，信源符号集{xi}及其每个符号的出现概率 P(xi) (先验概率) 事先可知 → 信道存在噪声干扰 → 需根据“信宿”接收到的符号yj 评估信源发出符号xi 的可能性大小→需采用互信息量概念。 I(xi)是关于xi 的自信息量(对xi 所存有的不确定性)；I(xi|yj)(条件自信息量)反映了在接收到yj 后，对xi 尚存有的不确定性。 二者相减结果：I(xi ; yj) → 接收到yj 后对xi 所消除的不确定性，亦即接收方所接收到的关于xi 的信息量。 显然，I(xi ;yj )越大，亦即接收的关于xi 的信息量越大，对xi 是否发生所存有的不确定性就消除的越多→对xi 的肯定程度就越强。 信息论与编码 信道 信源 信源编码 加密 信道编码 干扰源 信宿 信源解码 解密 信道解码 加密密钥 解密密钥 没有一个码字构成另一个码字的前缀（前缀条件，满足这一条件的码称为前缀码）。 一旦检测到一个比特序列对应可能码字中的某一个，我们就做译码判决，这种码称为即时码。 唯一可译码：译码字符只能由一个可能输入的字符产生。 1111 H 1110 G 110 F 101 E 100 D 011 C 010 B 00 A 码字 字母 设信源的输出符号都来自于一个有效符号集合xi，i=1,2,…, L，其出现的概率为P ( xi )， i=1,2,…, L 。则每个信源字母平均所占用的比特数为： 其中 ni 是符号xi所对应码字的长度（比特数） 前缀码的效率定义为： 定理1.2 （信源编码定理）：设X为离散无记忆信源（DMS）的字母集合，有着有限熵H(X)，而且其输出符号xk ，k=1, 2, … L,出现的概率为P (xk)， k=1, 2, … L。给出这些参数后，则可以构造满足前缀条件的码，其平均码长满足不等式： 信源编码定理说明： 对于任意用来表示一个信源中符号的前缀码，用于表示信源符号的最小平均比特数必须至少等于该信源的熵。 满足 的前缀码是最好的前缀码。 一个高熵（高不确定性）的信源用前缀码平均需要更多的比特来表示信源的符号。 临界情况：当 时， 需要重点掌握的几种信源编码： 霍夫曼编码 Shannon-Fano-Elias编码 LZ编码 信息论与编码 信道 信源 信源编码 加密 信道编码 干扰源 信宿 信源解码 解密 信道解码 加密密钥 解密密钥 2.2 信道模型（掌握BSC信道） 说明： 信道容量单位：比特/（信道使用） I(X ; Y)的最大值是在下列约束条件下求得的： I(X ; Y)表示输出字符集 Y 关于输入字符集 X 的平均互信息，其在输入符号概率集上达到的最大值是仅仅依赖于信道转移概率 的一个量。 定义2.3 一个DMC的容量定义为：每一次使用该信道时，能成功传输的最大平均互信息，其中最大值是在所有可能的输入概率上求得的，即 信道容量仅与信道本身的转移概率有关。 定理2.2 信道容量定理（香农定理） 带宽为W