基于潜在语义分析lsa的新蒙古文命名实体识别的歧义消解.pdfVIP

第十一届全国机器翻译研讨会(CWMT 2015) 中国 · 合肥 2015.9.24-25 基于潜在语义分析（LSA）的新蒙古文命名实体识别的歧义消解 1 1 1,2 1 1 1 蒋玉鹏 ，侯宏旭 ，杨萍 ,杜健 , 申志鹏 ,李金廷 （1.内蒙古大学计 算机学院, 内蒙古 呼和浩特 010021 ；2.临汾职业技术学院 计算机系,山西 临汾 041000 ） 摘要：命名实体是承载文本重要信息的语言单位。命名实体识别、消歧是自然语言处理的重要研究内容。 针对新蒙古文中的命名实体与普通名词不易区分（如：巴特尔既可以指普通的英雄，也可以指具体的一个 人），且知识库匮乏、覆盖面小的问题，本文提出了基于潜在语义分析（LSA）的新蒙古文命名实体消歧的 方法。首先对新蒙古文词进行词缀切分，只对词根进行向量空间的构建，通过奇异矩阵分解得到实体之间 的潜在语义关系；通过上下文的知识来弥补知识库匮乏的问题，进而得到语义相关的实体。通过结合词性 相关度的信息和语义相关词对命名实体类别的贡献度进行加权来得到命名实体的真实类别指向。使用该方 法进行命名实体的消歧后，命名实体识别的平均F 值比未消歧之前高出了3.11%。 关键词：命名实体识别；命名实体消歧；新蒙古文；潜在语义分析（LSA） Research on Chinese-Slavic Mongolian Named Entity Recognition Disambiguation Based on Latent Semantic Analysis 1 1 1 1 1 Jiang Yupeng , Hou Hongxu , Yang Ping ,Du Jian ,Shen Zhipeng ,Li Jinting (1. Inner Mongolia University College of Computer, Hohhot, Inner Mongolia, 010021,China ; 2. Linfen Vocational and Technical College, Lin Fen, Shan Xi Province, 041000,China) Abstract: Named Entities are important meaningful units in texts. The recognition and disambiguation of Named Entities is of great significance in the field of natural language processing. It is difficult to distinguish between Named Entities and common nouns in Slavic Mongolian. For example, “ 巴特尔” which can refer to the ordinary heroes, it can also refer to a specific person. Meanwhile, The Slavic Mongolian is lack of the repository. To solve the above problem, we propose a new method which based on the Latent Semantic Analysis (LSA) to do the Named Entity disambiguation. Firstly, we do the stemming on the Slavic Mongolian words to reduce the matrix dimension. Then