中文分词论文：搜索引擎中文分词技术应用研究.docVIP

中文分词论文：搜索引擎中文分词技术研究 【中文摘要】中文分词不仅是各种中文信息处理技术中使用最广泛的手段,也是信息检索和搜索引擎必不可少的基础性工作。现有的中文分词方法有很多,它们以字符串匹配、统计模型、理解、路径以及语义等为基础,并辅以分词词典和规则库,能够在一定程度上对中文信息进行切分。但由于汉语本身的特殊性和复杂性,目前的中文分词技术普遍存在歧义词处理和未登录词(新词)识别两个难点。因此,一个好的中文分词方法不仅需要具备高效的分词算法和词典机制,而且要准确识别歧义词和未登录词。论文对搜索引擎的中文分词技术进行研究,具有一定的理论价值和实际意义。论文在分析研究现有中文分词算法、词典机制以及歧义词和未登录词处理策略的基础上,提出了一种改进的中文分词方法,该方法以人工切分和标注好的《人民日报》语料库和专门的人名地名语料库为基础,对中文信息进行处理。一方面,论文针对现有中文分词算法和词典机制存在的不足,提出了基于最大逆向匹配的概率分词算法和基于有限自动机的中文分词词典机制,力求在完成分词功能的同时降低算法的时间和空间复杂度;另一方面,对于目前普遍存在的歧义词和未登录词识别两个难点,论文首先通过最大正向匹配、最大逆向匹配以及基于最大逆向匹配的概率分词算法提取分词碎片,然后结合构词规则和特定的人名地名语料库进行纠错处理,以进一步提高分词准确率。以改进的分词方法为基础,论文设计实现了一个中文分词原型系统,该系统包括提取文本、训练语料库、分词处理、性能测试四个部分。同时,利用人工切分和标注好的《人民日报》语料库对原型系统的分词速度和准确率进行测试,实验表明,系统的切分速度约为1 200字/秒,分词准确率达到了96%以上。论文从分词算法、词典机制、歧义词处理和未登录词识别四个方面分析研究了中文分词技术,并设计实现了一个中文分词原型系统。在设计实现的过程中,论文对分词技术从理论和实验上所做的探索都会对该领域的研究提供一定帮助。 【英文摘要】Chinese word segmentation is not only the most widely used mean in natural language processing but also an essential basic skill in information retrieval and search engine. In recent years, there are some arithmetic, such as the method based on characters, probability, understanding, path and semantics. The most widely used one is based on characters. However, due to the special nature and complexity of Chinese language, there are two problems in the main Chinese word processing, which are called ambiguity and unlisted words. Therefore, a good method of Chinese word segmentation should have an efficient dictionary mechanism and can be able to accurately identify the ambiguous words and unknown words.The paper studied the existing Chinese word segmentation algorithms, dictionary mechanisms, processing strategy of ambiguous words and unknown words, and then proposed a segmentation method based on the corpus. The corpus was from People抯 Daily. On the one hand, the algorithm of Chinese word segmentation based on the maximum reverse matching and probability can segment Chinese very well. Aiming at the shortcomings of existing dictionary mechanisms, the paper