读Daphne Koller概率图模型.pptVIP

中国科学院自动化研究所 模式识别国家重点实验室 2011年4月7日 结构十平均 读 Daphne koller的“概率图模型” 王珏 中国科学晚自动化研究所 Machine Learnig and Data MOuig 2009  引3 讲座分为五个部分,开头一个引 子,说明讲座的动机,最后一个 二、表示 结束语,从历史发展的角度讨论 关注概率图模型的原因,中间三 、推断 个部分,介绍 Koller这本书的三 个部分:表示( representation)、 四、学习 推断( inference)和学习 Cearning) 的基本思想和主要方法。 五、结束语 中国科学晚自动化研究斯 Machine Learnig and Data MOuing 2009  Machine Learnig and Data Mining 2009 标题。AI与ML 中 国‖采用“结构+平均”作为标题,没有使用“结构+统计”或 科‖者“人工智能+统计学”,或“图+概率”。“结构”与 学‖“统计”似乎不具有同等地位,“人工智能”与“统计学 院‖水火不相容,“图+概率”直观确切,其本质对应“结构 自‖与“平均”,对中文,“结构+平均”更美一些。 动 化恐考:人工智能(AD与统计机器学习M)是否存在一个结 研合点。但是,在理念上,A强调因果率(结构,不惜对排中 兜‖率破缺,统计方法强调排中率,不惜对因果率破缺,两者 所水火不相容。鉴于两者均已遇到根本性困难,有没有一种 折衷的理念。Kler这本书应该是这种折中的理念。  Machie Learning and Data Minig 2009 极端的例子 中 国‖对任意三角形识别(最简单的图形),如果采用白法(单纯结 科‖构)方法,需要“上下文敏感文法”描述,没有 Parsing算法。 学 晚‖成都地区暴雨预报,十年的数据。神经网络(平均)获得模 型,验证,误报5%。误报中有一个样本,预报大暴雨,实 际是晴天,各种因素均说明有暴雨,但是, 化 研度指标低,没有水!当然没有暴雨!平均将这个重要指 宛标与其他指标一起平均了。小学生不会犯的差错6年代末) 所 单纯结构或单纯平均需要满足严厉的条件,否则无效  Machie Learning and Data Minig 2009 书中“学生》的例子 中 国课程D:难=0,易=1 智力(I:{聪明=0,一般=1}) 科考试(G:BCD SAT(S:{好=0,坏=1}) 学推荐(L:(强=0,弱=1)。以推荐作为查询变量①) 院根据观察和专家经验,构造覜则集」构造一个函数:L=r( B, D, L,G, S 自IrD=0G=A1tenL=01 观察一組学生,获得样本集。基函 动‖mfI=0G=A] thenL=0 数L=β1D+β2I+β3G+βS 化rID=-1NI=1^IG=A]then=1]设计算法,确定β,获得模型。 研问题是 问题:模型为真需要多少样本,对 究ID=1^=0^G=A]then[L=?1]高维教据,不知道!模型不可解释 所 这就是人工智能遇到的难题!无这就是统计机器学习遇到的难题 法泛化!不同查询,不同规则!可以泛化,精度未知,不可解释。  Machie Learning and Data Minig 2009 问题本身的语义 中 国‖课程难易程度与考试分数有关。这种语义可以根据统 科‖学生智力与考试成绩有关。 计分布获得,也可以 学‖学生智力与SAT有关 根据常识经验获得。 院‖考试成绩与“推荐信强弱”有关。 动A方案克分考虑了这种语义,统计学习方案完全不考虑这 化但是,将这种语义强化到唯种语义,尽管具有灵活性(泛 研 表示程度(当且仅当),缺化,但是,需要充分的观察 ‖失灵活性。 样本 所‖两者的共同代价是:维数灾难。前者,需要考虑所有可能 的组合的规则集合,后者,需要考虑充分的样本集合。  ML强调给定变量集合张成的空间上计算平均的方法,抹煞 变量之间的结构;AI强调变量的独立性,忽视变量之间的条 件独立关系。是否可将变量子集(甚至一个变量)的局部分布, 根据变量之间内在的结构,转变为对变量集合整体的联合分 布。这样,就可以既顾及了变量之间存在结构,又考虑了平 均的必要性。概率图模型应该是一个这样的方案。 这本著作包罗万象(1200页),这个讲座是根据我个人偏好,抽出最 基本的思考、研究方法,以及实现这个思考的基本理论。而书中 罗列的大量具体的方法则认为:不是解决问题的唯一途径,而是 存在的问题。这本著作数学符号体系繁杂,谈不上“优美”。著