通信原理16.pptVIP

Prof Yewen Cao 可以证明：只有对数函数满足以上性质，且对于给定事件 下 ，则该事件给出的信息量定义为 ， 解: 对于二进制 DMS, p(x=1)=p, p(x=0)=1-p 所以有： H(x)=-plogp-(1-p)log(1-p) ------称之 为二进制熵函数。 而且，可 证明 当 p = 1/2时， 即，BSS具有最大的信息熵。 对于DMS 的输出集合 ： 当且仅当PMF： 时,信源具有最大的信息熵 换句话说，DMS系统中等概率输出时具有最大的信源熵。 现在，我们研究通信系统中的一个简单例子： 证明： 考察长度为n的DMS输出 设长度为n的典型序列的总数为 ， 则有 英文字母表: 英文字母 (26) +空格(1) 英文字母出现频度 研究表明： 当n=1时，即无记忆信源，有 H(X) =4.03 比特/字母 随着记忆性能增加，当n=10时，有 H(X)=1.3比特/字母 基本概念 ： 信源编码：信源输出将映射成特定长度的码字。 唯一可译码：指编码后为唯一可译，即译码不具有二义性。 即时码：译码时不需要知道新发送的码字，接收即可译码。 非前缀码：没有任何码字是其他码字的前缀。 自同步：接收译码时，可知道码字是否已结束或新码字开始发送。 例： 四种信源编码方案 思想： 将频繁出现的固定长度序列映射成较短的二进制序列，而将出现频率较低的固定长度序列映射成较长的二进制序列。 且，应当有一种惟一的方法把接收到的二进制序列转换分解为原来的码字。即，如果把每个概率为pi = p(ai)的信源输出映射为长度约为lg1/pi的码字，且同时保证译码的惟一性。 各个信源输出以概率递减的方式排列。 合并两个概率最小的输出为一个输出，其概率是对应的两个概率的和。 如果剩下的输出数目为2，则继续下一步，否则回到第1步。 为剩下的两个输出随机安排0和1。 如果一个输出的概率等于前面一步的两个输出的合并概率，则添加0和1给当前的码字，然后重复第5步，否则停止处理。 例 设信源的可能输出为： A={a1,a2,a3,a4,a5,a6} p(a1)=0.32, p(a2)=0.22, p(a3)=0.18, p(a4)=0.14, p(a5)=0.08, p(a6)=0.04 求： (1) 信源的霍夫曼编码 (2) 平均码长L (3) 求编码效率 η=H(x)/L 分解过程-----信源输出的序列被唯一的分解为不同长度 的码段。 建立码字字典------根据相同长度的码字对码段进行编码。 编码-----序列被编码为相同长度的码字。 例 对序列 0100001100001010000… 采用Lempel-Ziv算法进行编码。 结论（关于霍夫曼编码）： 霍夫曼编码是变长码 唯一可译码 编码效率高 霍夫曼编码是无失真编码 霍夫曼编码在很大程度上依赖于信源输出符号的概率(统计特性)，必须事先知道信源的统计特性。 如果只考察信源输出，那么编码过程必须有两个阶段。 Lempel-Ziv信源编码算法 Lempel-Ziv编码算法 独立于信源的统计特性,是一种变长到定长的编码方案。 Lempel-Ziv编码算法步骤描述 如何分解？通过识别还没有出现的最短的码段。 如何建立码字字典？等长二进制码字 如何编码？ 新的码段是前面码段与新的信源输出的拼接。 问题： 8个码段：需要3位二进制代码 0 001 1 010 00 011 001 100 10 101 000 110 101 111 空集 000 解： 0, 1, 00, 001, 10, 000,101, 0000,… 共8个不同码段 ※ 分解→码段 ※ 在字典中定义码段 *  第6章 信源与