语义实体识别.ppt

语义实体识别 大纲 动机 语义实体 相关概念 两类特征 序列标注模型 试验 动机 传统文本挖掘的第一步就是分“词” 分词粒度对不同web应用的影响 搜索应用对分词粒度不敏感 语义分析要求具有特定含义的词语组合不能被分开，比如： 小沈阳 甲型H1N1流感 女性车厢 云锦袈裟 公交自燃 绿坝花季护航 语义实体 语义实体：web文档中描述现实世界中确切对象名称的词语组合。 person(释永信，周跑跑,西单天使，大S) location(上海市普陀区) organization（华师大） product（OPPO手机） event(公交自燃) Common object(云锦袈裟，救生锤) Abstract concept(新农村，甲型H1N1流感) 语义实体相关概念 命名实体(MUC, TREC,CONLL,ACE，SIGHAN) 人名，地名，机构名，日期，时间，数值，百分比 区别 传统命名实体类别有限，本文定义的语义实体不限制其类型。 语义实体相关概念 方法区别 传统命名实体识别方法主要使用CRF模型，本文将CRF模型的输出作为特征之一，结合语言无关的统计特征，使用SVM进行训练。 语义实体的两类特征 语义实体上下文特征 语义实体本身的文本内容，以及周围的文本内容蕴含了大量提示信息 语义实体的统计特征 语义实体多次在不同的上下文出现 实体上下文特征 广东省交通厅展开了修复工作。据广东省交通厅副总工程师左智飞介绍，修复工程主要由两部分组成：即受损梁体拆除及南主桥重建，其中在南主桥重建过程中，采用了２×１００米独塔组合梁斜拉桥作为重建桥桥型方案。 通过序列标注模型获得实体上下文特征度量 序列标注模型 X={x1,x2,x3,….,xn}为观察到的序列 Y={y1,y2,y3,….,yn}为针对X的标注序列 序列标注模型 Training Data Set {[X(1),Y(1)], [X(2),Y(2)], [X(3),Y(3)],…, [X(n),Y(n)]} Build a model to predict Y given X Y*=argmax P(Y*/X) 经典序列标注模型 HMM MEMM CRF Generative Models（HMM） HMM对联合概率P(X,Y)建模。 HMMM模型的参数 参数估计 给定训练集 {[X(1),Y(1)], [X(2),Y(2)], [X(3),Y(3)],…, [X(n),Y(n)]} 如何调整模型参数A,B, p, 使得 最大 推理 给定观察序列X=x1,x2,…xT以及参数A,B, p, 如何选择一个对应的状态序列Y= y1,y2,…yT，使 得Y能够最为合理的解释观察序列X？ HMM的缺点 HMM的两个假设在很多情况下都不成立 在很多情况下，当前状态可能依赖于整个观察序列。 我们需要的是P(Y|X)，可是HMM优化的目标是P(X) Conditional Random Field 直接对条件概率P(Y/X)进行建模 线性CRF的假设：当前状态yj依赖于前面的状态yj-1和整个观察序列X 对当前状态yj，前面的状态yj-1，整个观察序列X的依赖关系，通过特征函数fi(yj-1,yj,x)刻画。 特征函数 1 yj-1=B,yj=E,xj-1=‘李’,xj=‘明’ f1(yj-1,yj,x) 0 1 yj-1=B,yj=M,xj-1=‘上海’,xj+1=‘公司’ f2(yj-1,yj,x) 0 特征函数 m个特征函数 yj，yj-1，X的依赖关系 Y，X的依赖关系 特征函数 训练 Maximum likelihood 推理 x1 x2 x3……………………..xn Forward-backward algorithm 边缘概率 在位置j标注为B的边缘概率P(yj=‘B’/X) 在位置j+k标注为E的边缘概率P(yj+k=‘E’/X) HMM vs CRF 统计特征 1）语义实体的内部紧密性 2）语义实体的上下文独立性(Accessor Variety) AV(ab)=min(|XL|,|XR|) 其中XL ={x|xab为文档中的连续汉字串} 其中XR ={x|abx为文档中的连续汉字串} |XL|,|XR|分别为集合XL, XR包含的元素个数 新华 网 北京 6 月 8 日 电 （ 记者 周 婷 玉 ）