信息散度和Alignment空间一些及研究.pdf

摘要 摘 要 随着信息科学的不断发展，人们对信息论学科的认识日益加深，信息论学科与其 他学科的交叉渗透也越来越广．目前对信息论的研究已经从香农当年仅限于通信系 统的数学理论的狭义范围扩展开来，像智能计算、生物、金融等领域都开始大量运用 信息论的有关知识．在以上这些领域中，涉及到了各种随机分布差异的概念，需要利 用信息量去衡量它们之间的区别．另外，在通信科学与生命科学中，对差错的概念已 经有所推广，不再仅仅是经典的字符改变形成的差错，而且还扩展到了字符的插入与 删除形成的差错．面对这些新问题，本文从三个部分进行了初步的探讨． 第一部分：信息散度(Information Divergence)的研究 本文的第二章主要讨论了信息散度的问题．信息散度在信息论中又被称为离散 量，主要用来衡量两个随机分布之间的差异．比如最早提出的相对熵(即KuUback- Leibler散度)就是其中最为人所熟知的一种．本章首先介绍了一些著名的信息散度， 在论文。ANewMetricfor Probability