中北大学信息论与编码第1,2讲.pptVIP

* 3）Kolmogorov熵 上世纪60年代，Kolmogorov等提出一种与概率无关的信息量度，称为Kolmogorov算法熵。在数值y给定条件下使计算机输出x值最短的程序的长度，定义为在y条件下x的条件算法熵。算法熵可以作为算法复杂度的度量。 * （4）Renyi熵 Renyi熵有一个参数，是仙农熵的单参数推广。Renyi熵称为与概率分布有关的阶的信息度量，不满足可加性；当1时，收敛于仙农熵。Renyi熵在很多领域都有应用，例如生物学、医学、遗传学、语言学、经济学和电器工程、计算机科学、地球物理学、化学和物理学等，在图象处理技术中也有应用，也广泛用于量子系统的研究，特别是用于量子纠缠态、量子通信协议、量子相关性的分析等。 * （5）Tsallis熵 表示大范围的相互作用或长时间的记忆系统可能不满足遍历性，例如引力系统、Levy fligHts、分形现象、湍流物理、甚至经济学等领域，称为非广延系统。已经证明，波尔兹曼—吉布斯统计学不适于这类系统。1988年，由Tsallis提出一种适用于非广延系统的信息度量，推广了波尔兹曼—吉布斯熵，称作 Tsallis熵。它也是仙农熵的单参数（q）推广，满足伪可加性；当q1时，收敛于仙农熵。当前，Tsallis熵已经应用到很多系统，例如Levy异常扩散、自引力系统、星系的特殊速度、线性响应理论、扰动与变分方法、格林函数、光子-电子相互作用、低维耗散系统等。通常认为，Tsallis熵适用于非规则的但又不完全随机或混沌的运动的处理。Tsallis熵在信息处理的应用也是当前研究的热点之一。 * 2.无损数据压缩 无损数据压缩的理论基础是仙农第一定理，主要包括概率匹配编码（也称熵编码）和通用编码的理论与技术。主要进展如下： （1）熵编码的进展 Huffman解决了从固定到可变长度最优编码的构造，即Huffman编码； Tunstall解决了可变到固定长度最优编码的构造，即Tunstall编码； Golomb提出了可变到可变长度最优编码，即Golomb编码； Rissanen等提出算术编码（非分组码）； * （2）通用编码的进展 由A.Lempel和J.Ziv提出的方法（L-Z算法）是当前最广泛使用的通用编码方法，该方法基于对信源序列的分段，简单的分段原则使编译码都很简单，已经证明L-Z算法对任何平稳遍历信源都能以熵率编码； Broose和Wheeler提出基于Broose-Wheeler变换的压缩编码，性能优于LZ系列的编码； Cleary和 Witten提出部分匹配预测（Prediction by Partial Matching, PPM）压缩编码，是压缩率最好的编码； * 在提高瞬时压缩效率的编码方面，Rissanen提出上下文树模型，由F.Willems等提出了上下文树加权编码方法，该方法实际是用文本树加权的方法估计条件概率对信源序列进行算术编码，理论与实验证明这种方法的编码速率达到熵率。 （3）分布信源编码 D.Slepian和J.Wolf提出相关信源编码是数据压缩理论的最重要的进展之一。他们证 明，即使对两个相关信源分别编码但联合译码，所需总的编码速率也可以小于两个信源熵的和。此外具有边信息的信源编码和数据压缩的研究还在开展。 * 3. 可靠通信 可靠通信的理论基础是仙农第二定理，它的进展主要包括以下方面： （1）各种特殊信道容量与有关的编译码技术研究 高斯信道的研究； 衰落信道的研究 反馈信道的研究； 迭代译码的研究； * 有约束信道（仙农称做离散无噪声信道）的容量的研究（成为有约束序列编码的理论基础，这些技术广泛应用在磁与光记录设备中）； 零差错信道容量（这是仙农开辟的另一个研究领域，信息可以无错误编码的速率称零差错容量，这种容量的研究不同与非零差错容量的研究，它要以组合图论作为研究工具）的研究 * （2）多用户信道的研究 多接入信道、无记忆高斯多接入信道容量区域、干扰信道、广播信道、未知参数信道、窃听信道等，都是多用户信道研究的内容，现已构成信息论中的一个重要分支网络信息论。 （3）多入多出（MIMO）信道与空时编码的研究 Paulraj、Telatar、Foschini等人的工作奠定了空时信道研究的理论基础，Tarokh提出了空时格码技术，推动了空时编码的研究，对无线系统中多天线以及空时编码与调制技术的研究已成为新的研究领域。 * （4）编译码理论与技术的研究 Berlekamp系统总结了代数编码理论； BCH、RS码、卷积码、级联码以及TCM编码调制的出现大大提高了通信的可靠性； Berrou等提出的Turbo码和Gallager首先提出后来被重新认识的LDPC（低密度奇