基于机器学习的分词不一致自动识别的研究.pdfVIP

基于机器学习的分词不一致自动识别研究 卢俊之 (南京师范大学文学院，江苏南京210097) 摘要： 分词不一致的处理足建设一个高质量的语料库所无法回避的问题，识别出分词不一致的不同成困是处理的前提和关 键。本文提出了一种基于机器学习的分词不一致自动识别方案．通过两遍识别，以特征词法识别结果为幕础，让帆器从中学习 到规则后辅以人工规则佴处理第一遍未识别的不一致字串。我们对200万字语村库中的分词不一致字串进行了实验，封闭测试 与开放测试的正确率分别达到85．22％和83．13％。 关键词： 分词；一致性；自动识别；机器学习 AutomaticIdentificationof of Inconsistency onMachine Based Learning LUJ