概率与信息论.PDF

第三章 概率与信息论 本章我们讨论概率论和信息论。 概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方 法，也提供了用于导出新的不确定性声明 （ ）的公理。在人工智能领域， 概率论主要有两种用途。首先，概率法则告诉我们 系统如何推理，据此我们设计 一些算法来计算或者估算由概率论导出的表达式。其次，我们可以用概率和统计从 理论上分析我们提出的 系统的行为。 概率论是众多科学学科和工程学科的基本工具。我们提供这一章，是为了确保 那些背景偏软件工程而较少接触概率论的读者也可以理解本书的内容。 概率论使我们能够提出不确定的声明以及在不确定性存在的情况下进行推理， 而信息论使我们能够量化概率分布中的不确定性总量。 如果你已经对概率论和信息论很熟悉了，那么除了第 节以外的整章内容，你 都可以跳过。而在第 节中，我们会介绍用来描述机器学习中结构化概率模型的 图。即使你对这些主题没有任何的先验知识，本章对于完成深度学习的研究项目来 说也已经足够，尽管如此我们还是建议你能够参考一些额外的资料，例如 。 为什么要使用概率？ 计算机科学的许多分支处理的实体大部分都是完全确定且必然的。程序员通常 可以安全地假定 将完美地执行每条机器指令。虽然硬件错误确实会发生，但它 们足够罕见，以致于大部分软件应用在设计时并不需要考虑这些因素的影响。鉴于 许多计算机科学家和软件工程师在一个相对干净和确定的环境中工作，机器学习对 第三章 概率与信息论 于概率论的大量使用是很令人吃惊的。 这是因为机器学习通常必须处理不确定量，有时也可能需要处理随机 非确定性 的 量。不确定性和随机性可能来自多个方面。至少从 世纪 年代开始，研究 人员就对使用概率论来量化不确定性提出了令人信服的论据。这里给出的许多论据 都是根据 的工作总结或启发得到的。 几乎所有的活动都需要一些在不确定性存在的情况下进行推理的能力。事实上， 除了那些被定义为真的数学声明，我们很难认定某个命题是千真万确的或者确保某 件事一定会发生。 不确定性有三种可能的来源： 被建模系统内在的随机性。例如，大多数量子力学的解释，都将亚原子粒子的 动力学描述为概率的。我们还可以创建一些我们假设具有随机动态的理论情境， 例如一个假想的纸牌游戏，在这个游戏中我们假设纸牌被真正混洗成了随机顺 序。 不完全观测。即使是确定的系统，当我们不能观测到所有驱动系统行为的变量 时，该系统也会呈现随机性。例如，在 问题中，一个游戏节目的参 与者被要求在三个门之间选择，并且会赢得放置在选中门后的奖品。其中两扇 门通向山羊，第三扇门通向一辆汽车。选手的每个选择所导致的结果是确定的， 但是站在选手的角度，结果是不确定的。 不完全建模。当我们使用一些必须舍弃某些观测信息的模型时，舍弃的信息会 导致模型的预测出现不确定性。例如，假设我们制作了一个机器人，它可以准 确地观察周围每一个对象的位置。在对这些对象将来的位置进行预测时，如果 机器人采用的是离散化的空间，那么离散化的方法将使得机器人无法确定对象 们的精确位置：因为每个对象都可能处于它被观测到的离散单元的任何一个角 落。 在很多情况下，使用一些简单而不确定的规则要比复杂而确定的规则更为实用， 即使真正的规则是确定的并且我们建模的系统可以足够精确地容纳复杂的规则。例 如，多数鸟儿都会飞 这个简单的规则描述起来很简单很并且使用广泛，而正式的 规则——除了那些还没学会飞翔的幼鸟，因为生病或是受伤而失去了飞翔能力的 鸟，包括食火鸟 、鸵鸟 、几维 ，一种新西兰产的无翼鸟 随机变量 等不会飞的鸟类……以外，鸟儿会飞 ，很难应用、维护和沟通，即使经过这么多的 努力，这个规则还是很脆弱而且容易失效。 尽管我们的确需要一种用以对不确定性进行表示和推理的方法，但是概率论并 不能明显地提供我们在人工智能领域需要的所有工具。概率论最初的发展是为了分 析事件发生的频率。我们可以很容易地看出概率论，