信息熵及其应用讲义.ppt

平均信息熵及其应用 丁 勇 南京医科大学数学教研室 信息能否度量 ？ 信息熵(entropy )的概念 设离散型随机变量X的概率分布为 X的信息熵定义为“加权平均信息量” 信息熵的直观意义 熵的性质 连续非负性 对称性 扩展性 可加性 极值性： 1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。 近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。 应用1：识别假币 应用2：熵与参数估计的似然函数 应用3：群体遗传学 Hardy–Weinberg 平衡(H–W平衡)定律 问题的提出 在信息论中，如何评价信源提供信息量的多少，是一个值得探讨的问题。 现在用的是相对率的概念，是以信息熵与最大信息熵之比 作为依据的。 问题：该值多大才算提供较多的信息量？ 问题的设想 提出平均信息熵作为评价依据。 问题的解决 提出了平均信息熵的概念 推导了计算公式、性质 给出了应用：作为信源提供信息量多少的评价依据。 平均值概念的推广 平均信息熵的定义 平均信息熵公式 公式： 与调和级数有关 平均信息熵的性质 平均信息量至少 占最大值72% 平均信息熵的性质 平均信息熵的性质 平均信息熵的性质 随机变量X的函数f(X)的平均信息熵： 当f为单调函