机器学习-贝叶斯网络.pdfVIP

机器学习 机器学习 第7章贝叶斯网络 第7章贝叶斯网络 章节介绍 • 贝叶斯网络(Bayesian work),又称为信念网络(Belief work) 。是一种通过有 向无环图(Directed acyclic graph, DAG)表示一组随机变量及其条件依赖概率 地概率图模型。概率图中,节点表示随机变量,有向边表示随机变量间地依 赖关系,条件概率表示依赖关系地强度。没有父节点地节点用先验概率表达 信息。两个节点若无连接则表示相互独立地随机变量。 • 贝叶斯网络中地节点可以表示任意问题,丰富地概率表达能力使能较好地处 理不确定性信息或问题。贝叶斯网络中所有节点都是可见地,并且节点间地 因果关系可以非常直观地观察到。这些特性都使得贝叶斯网络在众多智能 系统中有相当重要地应用 • 本章首先介绍贝叶斯网络地基础知识,重点讲解贝叶斯地概率基础与朴素贝 叶斯分类模型,并结合实际案例说明贝叶斯网络如何应用 章节结构 • 贝叶斯理论概述 • 贝叶斯概率基础 • 概率论 • 贝叶斯概率 • 朴素贝叶斯分类模型 • 贝叶斯网络推理 • 贝叶斯网络地应用 • 中文分词 • 机器翻译 • 故障诊断 • 疾病诊断 贝叶斯理论概述 • 贝叶斯方法分析地特点是用概率表示不确定性,概率规则表示推理或学习, 随机变量地概率分布表示推理或学习地最终结果 • 贝叶斯理论源于贝叶斯提出地贝叶斯定理与贝叶斯假设。贝叶斯定理引入 了先验概率,后验概率由先验概率与类条件概率表达式计算出。假设有随机 变量与,表示它们地联合概率,与表示条件概率,其中是后验概率,而称为地 先验概率,与地联合概率与条件概率满足下列关系: • 交换后得到: • 上述公式即为贝叶斯定理,它提供了从先验概率计算后验概率地方法 贝叶斯概率基础 • 概率论 • 古典概率 • 几何概率 • 条件概率 • 加法定理 • 减法定理 • 独立事件 • 联合概率分布 • 条件概率分布 • 贝叶斯概率 • 先验概率 • 后验概率 朴素贝叶斯分类模型 • 朴素贝叶斯分类模型是一种简单地构造分类器地方法。朴素贝叶斯分类模 型是将问题分为特征向量与决策向量两类,并假设问题地特征向量都是相互 独立地作用于决策向量地,即问题地特征之间都是互不有关地。尽管有这样 过于简单地假设,但朴素贝叶斯分类模型能指数级降低贝叶斯网络构建地复 杂性,同时还能较好地处理训练样本地噪声与无关属性,所以朴素贝叶斯分 类模型仍然在很多现实问题中有着高效地应用,例如入侵检测与文本分类等 领域。目前许多研究学者也在致力于改善特征变量间地独立性地限制使得 朴素贝叶斯分类模型可以应用到更多问题上 朴素贝叶斯分类模型 • 假设问题地特性向量为X,Xi={X1, X2, …,Xn}是特征属性之一,并且X1, X2, …,Xn 之前相互独立,那么p(X|Y)可以分解为多个向量地 , 即有 • 那么这个问题就可以由朴素贝叶斯分类器来解决, 即 • 其中p(X)是常数,先验概率p(Y)可以通过训练集中每类样本所占地比例进行估 计。给定Y=y,如果要估计测试样本X地分类, 由朴素贝叶斯分类得到y地后验 概率为: 朴素贝叶斯分类模型 • 因此最后只要找到使最大地类别y即可 • 从计算分析中可见,地计算是模型关键地一步,这一步地计算视特征属性地 不同也有不同地计算方法 • 对于离散型地特征属性Xi,可以用类Y中地属性值等于Xi地样本比例来进行估 计。 • 对于连续性地特征属性Xi,通常先将Xi离散化,然后计算属于类Y地训练样本落 在Xi对应离散区别地比例估计。也可以假设地概率分布,如正态分布,然后用 训练样本估计其中地参数。 • 而在地时候,该概率与其它概率相乘地时候会把其它概率覆盖,因此需要引 入Laplace修正。做法是对所有类别下地划分计数都加一,从而避免了等于零 地情况出现,并且在训练集较大时,修正对先验地影响也会降低到可以忽略 不计 朴素贝叶斯分类模型 • 朴素贝叶斯分类模型应用流程地三个阶段 朴素贝叶斯分类模型 • 朴素贝叶斯分类器还可以进行提升(Boosting),提升方法地主要思想是学习 多个分类器组成一个分类器序列,序列中后面地分类器对前面地分类器导致