面向专利文献的中文分词技术研究.pdfVIP

面向专利文献的中文分词技术的研究★ 刘东牛，尹宝牛，张桂平，徐立军，苗雪雷 (沈l；n航空工业学院自然语言处理研究室，沈阳110034) E-mail：!i四勉釜b￡Qg．．里楚垒≥曲O一0一．gll 摘要：针对专利文献的特点，本文提}乜J，一种基于统计和{i!l!则相结合的多策略分词方法。该方法利用文 献中潜在的切分标记，结合切分文本的上下文信息进行最大概率分词，并利用术语前后缀规律进行后处理。 该方法充分利用了从人规模语料中获取的全局信息和切分文本的上下文信息，有效地解决-r专利分词中未 登录词难以识别问题。实验结果表明，本文方法在封闭和开放测试下分别取得_，较好的结果，对朱登录词 的识别也有很好的效果。 关键词：中文分词：专利文献：上下文信息 onChineseWord Research for Segmentation Technique PatentDocuments LIU Xuelei Dongsheng，YINBaosheng，ZHANGGuiping，XULijun，MIAO Research Institute ofAeronautical {KnowledgeEngineeringCenter,Shenyang Eng如=mg Shenymg,Liaoning110034,China) E-mail：!i娅鲫暨b勉gn殛嬷鱼№Q：边 atthecharacteristicsofthe a for patentdocuments,this Abstract：Aiming paperpresentsmulti-strategyapproach word andmles．Ourmethodtook basedonstatistics ofthelatentcut-lllalbinthe segmentation advantage thecontextinformationofthe textto outthemost document，combined segmentingcarry probabilistic termaffixrolesinthe method segmentation，and utilizesthe employed post-processing．Thisfully global informationfrom andthecontextinformation a scale ofthe solvesineffectthe large corpus text，and