6有向图模型马尔可夫模型.pdfVIP

机器学习 第六讲 张兆翔 课程回顾 线性分类模型 数学描述  分类超平面：  假设该分类超平面对应的Margin值为 ， 则可得到两个边的方程为： 数学描述  对于两类样本而言： 数学描述  求解最大的 情况下的分类超平面。 几何意义  超平面法向量是支持向量的线性组合 决策方程 常用的核函数  多项式核函数  RBF核函数  Sigmoid核函数 概率图模型 概率论  所有的概率推导都依据下面两个公式： 加法律： 乘法律： 图论 有向图模型 无向图模型 有向图 无向图 概率论 + 图论 = 概率图模型  结点：随机变量或者一组随机变量  连接弧：随机变量之间的关系 有向图模型‐‐‐‐‐贝叶斯网络 有向图模型‐‐‐‐‐贝叶斯网络 实例：多项式拟合问题  输入：  观测值： 实例：多项式拟合问题 描述一个概率图模型需多少参数？ 描述一个概率图模型需多少参数？ 具有M 个变量的全连接图模型需要多少参数？ 如果是马尔可夫模型呢？ 描述一个概率图模型需多少参数？ 描述一个概率图模型需多少参数？ 描述一个概率图模型需多少参数？ If                       are discrete,   K‐state variables,  in  general has O(K M) parameters. The parameterized form requires only M + 1 parameters 条件独立 则称在给定c条件下，a与b条件独立 条件独立 ? 条件独立 尾尾相连 条件独立 头尾相连 条件独立 头头相连 普适规则 看A与B相连的每条路径有没有都被阻隔  满足“头尾相连”或“尾尾相连” 的节点都在C 中；  满足“头头相连” 的节点和它的任何后裔都不 在C 中； 示例 ? ? 示例：高斯后验概率  从一系列观测数据去估计高斯分布。 隐马尔可夫模型 HMM的由来  1870年，俄国有机化学家Vladimir V.   1870年，俄国有机化学家Vladimir V.  Markovnikov第一次提出马尔科夫模型。 Markovnikov第一次提出马尔科夫模型。  马尔可夫模型  马尔可夫链  隐马尔可夫模型 马尔可夫性  如果一个过程的“将来”仅依赖“现在”而不依 赖“过去” ，则此过程具有马尔可夫性,或称 此过程为马尔可夫过程。 X(t+1) = f( X(t) ) 马尔可夫链  时间和状态都离散的马尔科夫过程称为马 尔科夫链。