第3讲--统计分析进阶.pptVIP

统计分析进阶 郑伟诗 Wei-Shi Jason Zheng (百人计划，2011) 计算机视觉、模式识别、机器学习(统计学习) Working closely with Prof. JianHuang Lai wszheng@ http://www.eecs.qmul.ac.uk/~jason/ 数学实践课 我的教学理念 是一门承上启下的课 一二年级：基本的数学，如线性代数，高等代数，概率统计与分析 三四年级：专业课 尽量不讲一般的例子，但会比较理论 适当拓展一二年级的知识范围 重点 非面面俱到 侧用应用：简介，自学深入的数学知识 非真正的数学建模课 选取适合二年级学生的知识点做重点介绍 更多结合当前计算机科学的研究及应用（部分结合经济） 小学期教学不强调掌握具体算法的理论部分，但要会用（计算机应用研究更要学会怎么用） 数计学院：数学建模 统计分析进阶 课程安排 隐马尔可夫模型 多元统计分析：简介 多元主成分分析 案例分析 作业：发至 exercise_sysu@163.com （不要发到我的ieee邮箱） 作业截止时间：7月31日 意见反馈 PPT下载地址： http://www.eecs.qmul.ac.uk/~jason/sysu/course/maths_model 一个例子 Object Tracking from Oxford University CVPR 2011, by Ben Benfold and Ian Reid 一个例子 Object Tracking from Oxford University CVPR 2011, by Ben Benfold and Ian Reid 从例子中，我们至少发现： 时间序列的建模 二维及更高维特征的建模 I 隐马尔可夫模型 隐马尔可夫模型(HMM)的由来 马尔可夫性和马尔可夫链 HMM实例 HMM的三个基本算法 马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 X(t+1) = f( X(t) ) 隐马尔可夫：只观察到Oi, Oi由隐含变量Xi的状态值决定 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 转移概率矩阵 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。 HMM实例——实例描述 设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下 根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。 最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。 HMM实例——约束 在上述实验中，有几个要点需要注意： 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定 HMM概念 HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 HMM组成 HMM的基本要素 用模型五元组 ＝（ N, M, π ，A，B）用来描述HMM，或简写为 =(π ，A，B) HMM可解决的问题 问题1：给定观察序列O=O1,O2,…OT,以及模型 , 如何计算P(O|λ)？ 问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？ 问题3：如何调整模型参数 , 使得P(O|λ)最大？ 解决问题1 的基础方法 给定一个固定的状态序列S=(q1，q2，q3…) 表示在qt状