基于Lucene的中文兴趣点名称的切分与匹配研究.docVIP

基于Lucene的中文兴趣点名称的切分与匹配研究 　　摘要：该文针对现有的中文POI（points of interest）匹配中存在的不足，提出了基于角色标注的中文POI匹配的方法，提高了POI匹配的准确性和效率。其基本思想是：根据在POI匹配中的作用，在对POI分词的基础上用HMM（Hide Markov Model隐马模型）对POI的切分单位进行角色标注，切分单位的角色不同，其在匹配过程中的地位也不同，在精确匹配失败后，再根据角色信息进行模糊匹配，从而提高了中文POI匹配成功率。 　　关键词：分词；角色标注；HMM；POI匹配 　　中图分类号：TP182文献标识码：A文章编号：1009-3044(2011)21-5144-03 　　Study Segmentaion and Matching of Chinese POIs Based on Lucene 　　LIU Xiao-juan 　　(Qianxinan Vocational Technical College For Nationalities, Xingyi 562400, China) 　　Abstract: This paper analyzes the shortcoming of existed Chinese POI macthing methods .We present a role tagging-based way ,which can improve the rate of POI macthing success.That is:tokens after segmentation are tagged using HMM with diffirent roles according to theirs functions in the generation of chinese POI s. Tokens with diffirent roles have diffirent degree of importance in matching.After exact matching failure. Fuzzy matching is excuted according to tokens roles. 　　Key words: segmentation; Chinese POI matching; role tagging; HMM 　　地理编码（Geocoding）是将地理坐标（例如经纬度）赋予街道地址或其他点位和地理特征的过程，有了地理坐标，地理特征才能显示到地图上或应用到地理信息系统中。匹配技术在中文地理编码中有着重要的作用，它能影响到地理编码的准确性和效率。现有的中文POI匹配中存在的主要问题是：在匹配过程中没有区别不同切分单位在匹配过程中的重要程度，只要部分或全部包含待匹配的POI的切分单位的内容都会出现在匹配结果中，这样导致出现和我们的查询目的相关性很小的内容。例如：我们要找“南京钢铁联合有限公司”，经过分词后可能是“南京 钢铁 联合 有限 公司”，在google（，谷歌）中搜索“南京钢铁联合有限公司”，得到的结果是“南京钢铁联合有限公司”、“南京钢铁集团有限公司”、“南京钢铁股份有限公司”、“南京市总工会”、“南京优特钢工贸实业有限公司”等都会出现在结果中。在google地图（）中搜索“南京钢铁联合有限公司”得到结果的前2条是“联合企业网”和“中信证券有限责任公司南京营业部”，在这二个例子中都得到了和我们搜索的目的很不相关的内容，究其原因是“联合企业网”中包含有“联合”一词，而“中信证券有限责任公司南京营业部”包含有“有限”和“南京”二词。本研究提出的基于角色标注的POI匹配的方法试图解决中文POI匹配中存在的这个问题。 　　1 基于角色标注的POI匹配方法 　　1.1中文POI的构成特点 　　POI的内容一般包括它类型、位置、名称、电话号码，甚至还包含有其他信息。中文POI的用词相对来说还是比较集中的，并且其构成也还是比较有规律。我们根据词语在POI名称构成中的作用，分为地名、专名、业务名、修饰词、门类词、数字和通名，专名是POI中独特的、可以用来区别在名称上相类似POI。例如，POI北京风华时尚美容美发中心和北京风剪俏丽美容美发中心的专名分别是风华时尚和风剪俏丽。利用地名、专名和业务名和通名就可以区分大多数不同的POI名称。当然并不是每一个POI都包含这七部分，例如“北京瓷艺轩陶瓷有限公司”的分词结果（和分词词典有关）可能是“北京 瓷艺轩 陶瓷 有限 公司”，北京是地名，瓷艺轩是专名，陶瓷是业务名，有限是修饰词，公司是通名，例如“北京大学”就只包含地名（北京）和通名（大学），“黄寺大街甲一号正