计算智能课件-贝叶斯学习.pptxVIP

1计算智能

ComputationalIntelligence贝叶斯学习

2学习机器学习目标函数：整个实例集合X?目标概念c理性化：难求c(x),?x?X归纳学习目标函数：训练样例集合D?目标概念c搜索：寻找目标假设h?c（逼近）理论最佳：h(x)=c(x),?x?X实施拟合：h(x)=c(x),?x?D前提：无偏置：D内最佳?X内最佳（假定）推断：拟合能力好?推广能力好方法：概念、决策树、NN、Bayes、基于实例(案例分析)

3概述贝叶斯推理：提供了一种概率手段，基于如下的假定：待考察的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。为直接操作概率的学习算法提供了基础，也为其他算法的分析提供了理论框架

4简介贝叶斯学习算法与机器学习相关的两个原因：贝叶斯学习算法能够计算显示的假设概率，比如朴素贝叶斯分类贝叶斯方法为理解多数学习算法提供了一种有效的手段，而这些算法不一定直接操纵概率数据

5贝叶斯学习方法的特性观察到的每个训练样例可以增量地降低或升高某假设的估计概率。而其他算法会在某个假设与任一样例不一致时完全去掉该假设先验知识可以与观察数据一起决定假设的最终概率，先验知识的形式是：1）每个候选假设的先验概率(prior)；2）每个可能假设在可观察数据上的概率分布贝叶斯方法可允许假设做出不确定性的预测新的实例分类可由多个假设一起做出预测，用它们的概率来加权即使在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他方法

6贝叶斯方法的难度难度之一：需要概率的初始知识，当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率：先验概率难度之二：一般情况下，确定贝叶斯最优假设的计算代价比较大（在某些特定情形下，这种计算代价可以大大降低）。

7内容安排贝叶斯理论介绍极大似然假设和极大后验概率假设概率框架应用于相关问题和学习算法几种直接操作概率的学习算法贝叶斯最优分类器Gibbs算法朴素贝叶斯分类器贝叶斯信念网：存在未知变量时被广泛使用的学习算法

8贝叶斯法则机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设贝叶斯理论：提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。贝叶斯公式

9先验概率和后验概率先验概率：在没有训练数据前假设h的初始概率，用P(h)表示。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识。如果没有这一先验知识，可以简单地将每一候选假设h赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率后验概率机器学习中，我们关心给定D时h成立的概率，记为P(h|D)。P(h|D)称为h的后验概率。

10举例假定数据样本域由水果组成，属性包括颜色，形状假定X表示：红色和圆的水果；H表示假定X是苹果则P(H|X)表示：当看到X是红色且是圆的时，X是苹果的确信程度。P(H)表示H的先验概率，是任意给定的数据样本为苹果的概率，不管数据样本看上去如何。后验概率P(H|X)比先验概率P(H)基于更多的信息（如背景知识）。P(H)是独立于X的。类似地，P(X|H)表示条件H下X的后验概率，表示：已知X是苹果，则X是红色并且是圆形的概率。P(X)表示X的先验概率，表示：从水果集中取出一个数据样本是红色圆形的概率。

11贝叶斯公式贝叶斯公式：作用：提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法解释：P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少【即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小】

12极大后验假设原则：学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP:MaximumAPosteriori）方法：用贝叶斯公式计算每个候选假设的后验概率，然后找出概率最大的假设。计算式如下最后一步，去掉了P(D)，因为它是不依赖于h的常量

13极大似然假设相同的先验概率：在某些情况下，可假定H中每个假设有相同的先验概率，这样MAP中的计算公式可以进一步简化，只需考虑P(D|h)来寻找最可能假设。似然度：P(D|h)常被称为给定h时数据D的似然度原则：使似然度P(D|h)最大的假设被称为极大似然假设（ML:MaximumLikelihood）。计算式如下

14举例：一个医疗诊断问题候选假设集H：病人患癌症、病人无癌症可用数据—检查化验结果：阳性[+]和阴性[-]先验知识：