对于紧致码在三种编码方法下的编码特性研究.docxVIP

对于紧致码在三种编码方法下的编码特性研究 摘要：本文针对一种被称为紧致码的特殊的信源空间分布，基 Shannon，Fano 和 Huffman 三种编码方法，并分别对其进行了证明，发现对于某种特殊的信源分布的紧致码， 平均码长与其信源概率分布有关。同时通过引入 Huffmantree 构造方法证明了 Huffman 编码方法的情况，简化了对于这种特殊的信源分布的紧致码编码过程。 关键词：紧致码 ;Fano;Huffman;Huffmantree;Shannon 一、引言 世纪，国际社会已进入信息化时代。信息论作为信息科学和技术的基本理论， 犹如信息科学大厦的地基， 在信息社会中占据越来越重要的地位。信息论的创始人 Shannon，他在 1949 年发表了《保密通信的信息理论》，是每一位研究信息学者必读的一篇文章 [1] 。随着信息技术的发展，编码技术已经在媒体技术、网络技术、无线通信技术、数字电视技术等方面得到广泛应用 [2] 。信息论、错误控制编码和密码学是现在数字通信系统中的三大支柱。 信息论基础是应用概率论、随机过程和近世代数等方法研究信息的存储、 传输和处理中一般规律的学科， 主要解决通信过程中信息传输的有效性、 可靠性与安全性的问题，是信息科学和通信科学领域中的一门基础理论 [3 ，4] 。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。 信息传输和信息压缩是信息论研究中的两大领域。紧致码在信息论的研究中有着至关重要的作用， 并且具有重大实际意义。 本文的目的是用信息 点 致 行若干研究， 以 Shannon， Fano 和 Huffman 三种 方法 例，分 介 它 的 原理以及 相关 明， 一步得出 。 二、 致 里我 介 一种特殊的信源分布，如果其中各消息概率 足 pi 其中 hi 任意正整数， 信源 行二 制 ， 最佳 ，或者 得 是 致 [5] 。 效率。 式中 H(X)=- ∑pilog2pi 信源 ， r 符号数， 里考 二 制 ， r=2， 后平均 ，定 表达式 。 从平均 的角度出 ， 于 定信源，使平均 达到最小的 方法，称 最佳 ，得到的 称 最佳 ，即 致 。 本文考 信源的每个消息的概率 足，信源消息 后的 为 ni=hi ， 效率 下面我 将 上述 行 明。 三、三种 法及其 明 3.1 于 Shannon 的 明 首先介 Shannon 方法。步 如下： 将信源 出的 M个消息，按其概率 减 序 行排列，得 P(x1) ≥p(x2) ≥?≥ p(xM) 算出各消息的 -logp(xm) ， m=1，2，? M; 根据 -logp(xm) ≤nm-logp(xm)+1 。(-logp(xm) 整数 取 等号 ) ， 算出每个消息的二 制代 的 度 nm(m=1，2，?， M)， nm，nm取正整数 ; 得到唯一可 ， 算出第 m个消息的累加概率，再将 pm 成二 制小数，取小数点后面 nm位作 第 m个消息的代 ( 字 ) 。 然后我 考 上面介 的 致 。 离散信源，其中 足， 其 行 Shannon编码 [6] ，由第三步可知， 任一信源 xi 其 的二 制代 度 nm=-logp(xm)=hi ， 就是我 要 明的 致 行 Shannon 后每个信源 的 hi 。 3.2 于 Fano 的 明 对 Fano 的思路与 Shannon 似。首先介 Fano 编码方法 [7] 。步 如下： 信源 出的 M个消息，按其概率 减 序排列，得 P(x1) ≥p(x2) ≥?≥ p(xM) 把消息集 {x1 ，x2，? xM}按其概率大小分解成两个子集，使两 个子集的概率之和尽可能相等，把第一个子集 0，第二个子集 编码为 1，作 代 的第一个 元 ; 子集做第二次分解， 同 分解成两个子集， 并使两个子集概率之和尽可能接近相等，再把第一个子集 0，第二个子集 码为 1，作 第二个代 的 元 ; 如此一直 行下去，直到各子集 含一个消息 止 ; 将逐次分解过程中得到的码元排列起来就是各消息代码。 下面证明作上述操作后得到的每个消息对应的码长为 hi 。 由上述步骤可知，经过 n 次分解后得到的消息 xi 其对应的码长 一定为 n，于是问题转为证明对应概率为的消息需要 hi 次分解后得到的子集仅含该消息。 为简便，以下将把某个消息经过分解后得到的子集仅含该消息简称为将该消息分出来。 Fano 编码步骤可知，进行第 n 次分解，会得到 2n 个子集，其中每个子集中所包含消息概率和为 2-n ，现在