中北大学信息论与编码第,讲..ppt

* 3）Kolmogorov熵 上世纪60年代，Kolmogorov等提出一种与概率无关的信息量度，称为Kolmogorov算法熵。在数值y给定条件下使计算机输出x值最短的程序的长度，定义为在y条件下x的条件算法熵。算法熵可以作为算法复杂度的度量。 * （4）Renyi熵 Renyi熵有一个参数，是仙农熵的单参数推广。Renyi熵称为与概率分布有关的阶的信息度量，不满足可加性；当1时，收敛于仙农熵。Renyi熵在很多领域都有应用，例如生物学、医学、遗传学、语言学、经济学和电器工程、计算机科学、地球物理学、化学和物理学等，在图象处理技术中也有应用，也广泛用于量子系统的研究，特别是用于量子纠缠态、量子通信协议、量子相关性的分析等。 * （5）Tsallis熵 表示大范围的相互作用或长时间的记忆系统可能不满足遍历性，例如引力系统、Levy fligHts、分形现象、湍流物理、甚至经济学等领域，称为非广延系统。已经证明，波尔兹曼—吉布斯统计学不适于这类系统。1988年，由Tsallis提出一种适用于非广延系统的信息度量，推广了波尔兹曼—吉布斯熵，称作 Tsallis熵。它也是仙农熵的单参数（q）推广，满足伪可加性；当q1时，收敛于仙农熵。当前，Tsallis熵已经应用到很多系统，例如Levy异常扩散、自引力系统、星系的特殊速度、线性响应理