基于隱马尔科夫模型的命名实体识别.docVIP

基于马尔科夫模型的命名实体识别 NE识别的数学描述 利用HMM解决序列标注问题，即给定一个观察值的序列，要寻找一个最优的标记序列，使得条件概率最大。根据贝叶斯公式可得： 在NE识别问题中，X是给定的句子，观察值为词性或词，则上式中P(X)对所有的类别都是一样的，因此可以忽略不考虑。则上面的公式可以转化为下面的形式： 即HMM实质式求解一个联合概率。上式中的标记序列Y可以看做是一个马尔科夫链，则对上式利用乘法公式有： 基于HMM的NE识别的问题就是如何在给定的模型下，从一定观察值序列的所有可能的状态下，选取最有的标记序列。常用的方法是viterbi算法，它属于动态规划算法，动态规划的思想是把问题分解，先解决最基本的子问题，再逐步外推寻找更大的子问题的最优解，在有限步后达到整个问题的最优解，即得到最有的NE标记序列 隐马尔科夫模型 观察到的事件是状态的随机函数，该模型是一个双重的随机过程，其中模型的状态转换过程是不可观察的。可观察的事件的随机过程是隐藏的状态转换过程的随机函数。形式化的描述为一个五元组。 1. S表示模型中的状态，N是模型的状态数。所有独立的状态定义为,且用来表示t时刻的状态。 2. O表示每个状态的观察值，M表示每个状态上对应的可能的观察值的数目。观察值对应于模型系统的实际输出，观察值记为： 3. 状态转移概率矩阵，其中，1=i，j=N，表示从状态i转移到状态j的概率，满足：=0，；且。 4. 输出观察值概率分布矩阵，其中表示在状态下，t时刻出现的概率，即，1=j=N,1=k=M. 5. 初始状态分布向量，其中,即在t=1时刻处于状态的概率，满足：。 HMM模型需解决的三个问题： （1） 评估问题。给定一个观察序列，以及模型，如何有效的计算,也就是这个观测序列有多大可能是由该模型产生的； （2） 解码问题。给定观测序列以及模型，如何选择一个状态序列，使得观测序列O式最具可能的，即求解; （3） 学习问题。如何能够通过调整参数以最大化 ICTCLAS分词的词性列表 名词 (1个一类，7个二类，5个三类) 名词分为以下子类： n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字 nrj 日语人名 nrf 音译人名 ns 地名 nsf 音译地名 nt 机构团体名 nz 其它专名 nl 名词性惯用语 ng 名词性语素 时间词(1个一类，1个二类) t 时间词 tg 时间词性语素 处所词(1个一类) s 处所词 方位词(1个一类) f 方位词 动词(1个一类，9个二类) v 动词 vd 副动词 vn 名动词 vshi 动词“是” vyou 动词“有” vf 趋向动词 vx 形式动词 vi 不及物动词（内动词） vl 动词性惯用语 vg 动词性语素 形容词(1个一类，4个二类) a 形容词 ad 副形词 an 名形词 ag 形容词性语素 al 形容词性惯用语 区别词(1个一类，2个二类) b 区别词 bl 区别词性惯用语 状态词(1个一类) z 状态词 代词(1个一类，4个二类，6个三类) r 代词 rr 人称代词 rz 指示代词 rzt 时间指示代词 rzs 处所指示代词 rzv 谓词性指示代词 ry 疑问代词 ryt 时间疑问代词 rys 处所疑问代词 ryv 谓词性疑问代词 rg 代词性语素 数词(1个一类，1个二类) m 数词 mq 数量词 量词(1个一类，2个二类) q 量词 qv 动量词 qt 时量词 副词(1个一类) d 副词 介词(1个一类，2个二类) p 介词 pba 介词“把” pbei 介词“被” 连词(1个一类，1个二类) c 连词 cc 并列连词 助词(1个一类，15个二类) u 助词 uzhe 着 ule 了 喽 uguo 过 ude1 的 底 ude2 地 ude3 得 usuo 所 udeng 等 等等 云云 uyy 一样 一般 似的 般 udh 的话 uls 来讲 来说 而言 说来 uzhi 之 ulian 连 （“连小学生都会”） 叹词(1个一类) e 叹词 语气词(1个一类) y 语气词(delete yg) 拟声词(1个一类) o 拟声词 前缀(1个一类) h 前缀 后缀(1个一类) k 后缀 字符串(1个一类，2个二类) x 字符串 xx 非语素字 xu 网址URL 标点符号(1个一类，16个二类) w 标点符号 wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { wyz 左引号，全角：“ ‘ 『 wyy 右引号，全角：” ’ 』 wj 句号，全角：。 ww 问号，全角：？ 半角：? wt 叹号，全角：！ 半角：! wd 逗号，全角：， 半角：, wf