隐马尔可夫模型hidden markov model (hmm) - read.ppt

信息抽取（2） Information Extraction (IE) IE 什么是信息抽取 IR和IE 面对的工作和IE模型 IE体系结构 Wrapper Induction Wrapper 分装器 ，包装器 是一个程序，用于从特定的信息源中抽取相关内容，并以特定形式加以表示。 由一系列的抽取规则以及应用这些规则的计算机程序代码组成。 基于Wrapper方法的信息抽取 wrapper的构造方式 手工生成 半自动生成 自动生成 Wrapper Induction 归纳学习算法 是一种通过分析一个未知的集合中的某些遵循某种规律的实例集合，归纳出一般性的规则，并利用这些规则来推知该集合的其他部分的方法。 Wrapper Induction ?a?technique?for?automatically?constructing?wrappers?from?labeled? examples?of?a?resources?content. Wrapper induction: Delimiter-based extraction Learning LR wrappers Example: Find 4 strings ?B, /B, I, /I? ? l1 , r1 , l2 , r2 ? ：?datai-1与datai?之间字符串的后缀 ：?datai与datai+1之间字符串的前缀 LR: Finding r1 HTMLTITLESome Country Codes/TITLEBCongo/B I242/IBRBEgypt/B I20/IBRBBelize/B I501/IBRBSpain/B I34/IBR/BODY/HTML LR: Finding l1, l2 and r2 A problem with LR wrappers Distracting text in head and tail HTMLTITLESome Country Codes/TITLE BODYBSome Country Codes/BP BCongo/B I242/IBR BEgypt/B I20/IBR BBelize/B I501/IBR BSpain/B I34/IBR HRBEnd/B/BODY/HTML One (of many) solutions: HLRT Extraction HLRT wrapper as a vector  h, t, l1 , r1 ,l2 ,r2,… … Web pages as Example, output tuples as Label, ExecHLRT() as a Hypothesis function Induction Induction as search Search the hypothesis space Induction as search Generate-and–test Depth-first search, 2K+2 levels for wrapper vector 隐马尔可夫模型Hidden Markov model (HMM) Generating Patterns ?生成模型是指在数据预处理基础上通过神经元网络、回归分析等数据建模算法从训练样本集中提炼出数据模型. Generating Patterns 确定性的生成模型 Generating Patterns 非确定性的生成模型 Markov过程与Markov链 Markov过程：具有无后效性的随机过程。即t时刻所处状态的概率只和t-1时刻的状态有关，而与t-1时刻之前的状态无关。 Markov链：时间离散，状态离散的马尔可夫（Markov）过程。 Markov链的参数 转移概率：A=akl=P(πi=l|πi-1=k) 初始概率：π Markov链的例子 Markov链的例子 设第一天（t=1）是雨，问题：根据这个模型，在以后的7天里天气是“雨-雨-晴-晴-雨-多云-雨” 的概率是多少？ 说得更抽象些，令对应t=1,2,…,8观察序列为O={ } Hidden Markov Models-HMM HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 HMM组成 HMM Graphical Model Representation: Variables by time Circles indica