第3章-数据思维原理.pdf

CONTENTS 内容 最大熵原理 3.1 熵 、信息熵 、最大熵 内涵及应用 最小努力原理 3.2 最小努力原理 内涵及应用 3.3 信息生命周期理论 信息生命周期内涵、认识 、理论 （对象、内容 、方法） 对数透视定律 3.3 传统对数透视 、网络环境下对数透视 小世界现象 3.4 现象由来 、研究类型、现象在各学科的应用 3.1.1 熵及信息熵的概念 u “熵”的概念可追溯至1865年，是德国物理学家克劳修斯提 出的，一个 用来描述“能量退化”的物质状态参数，在热力学中有着广泛的应用。 所谓，体系越混乱，熵就越大。 u 1948年 ，美国电气工程师Shannon在其 《通信 的数学原理》一文 中 首次提 出了“信息熵”的概念 ，把熵作为一个随机事件的“不确定性”或 信息量的量度 ，从而奠定 了现代信息论的科学理论基础 ，大大促进了 信息论的发展 。简单理解 ，就是不确定性越大，信息量就越大，信息 克劳修斯 熵也越大。 u 随着统计物理 、信息论等一系列科学理论的发展 ，“熵”的本质逐渐有 了统一的认识 ，即“熵”是一个系统“内在的混乱程度”。 u 它在控制论 、概率论 、数论 、天体物理 、生命科学等领域都有着重要 的应用，不同的学科也引申出不同的定义。 Shannon 最大熵原理 3.1.2 最大熵原理的内涵 如何理解“熵”在信息学中的意义 ，如何理解最大熵原理呢？ 1957年，杰恩斯 （Edwin T. Jaynes, 1922-1998）在 《信息论与统计力学》一文中，提 出了一个准则 ： “在根据部分信息进行推理时，我们应使用的概率分布，必须是在服从所有已知观测数据的前提下，使熵 函数取得最大值 的那个概率分布。这是做 出的仅有的无偏分配。使用其他任何分布 ，则相 当于对未知的 信息做 了任意性的假设”。 这一理论称为最大熵原理 ，也称为最大信息原理 。它为我们如何从满足约束条件的诸多相容分布 中， 挑选“最佳”、“最合理”的分布提供 了一个选择标准 。 最大熵原理的主要思想就是 ，在 已知部分知识的前提下，对于未知分布最合理 的推断。就是符合 已 知知识最不确定或最随机 的推断，即符合这些知识准则情况下，熵值最大的概率分布 。这是我们可以作 出的唯一不偏不倚的选择 ，任何其它的选择 ，都意味着我们增加 了其它的约束和假设 ，这些约束和假设 根据我们掌握的信息无法得到。 最大熵原理 3.1.3 最大熵原理的应用 最大熵理论和方法的应用范围非常广 ，目前它已经渗透到信息论 、工程优化 、气象学、热力 学、统计力、天文学、生物学、社会学、管理学、经济学等各个领域 ，在学科交叉和结合 中起 到了桥梁和纽带的作用。 最大