基于条件随机场的中文分词技术的研究与实现-通信与信息系统专业论文.docxVIP

华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘要 互联网中日益庞大的海量信息给信息处理带来了极大的挑战，尤其是在中文信 息处理领域，其中最为重要的一个就是对中文分词技术的要求。中文分词的主要目 的就是将中文语句解析为具有正确含义的词语的组合，从而使得计算机可以理解句 子的意义，信息索引、自动摘要、文本分类、自动聚类、文本纠错、手写输入、智 能应答等各个领域中对信息处理的第一步都是中文分词，所以加强对中文分词技术 的研究具有极为重要的意义。 本文运用条件随机场统计模型将中文分词中的词语切分问题成功转换为汉字的 组合构词问题，主要是引入了汉字词位的概念，通过对汉字词位的标注使其能够依 照词位组合的规则进行词语合并，整个过程通过机器学习训练的方法加以实现，不 仅提高了分词的准确度，还能使分词工作摆脱对词典的依赖。 本文运用 JAVA 语言实现了基于条件随机场的分词系统，首先对真实语料库特征 信息进行统计，建立了可扩展可维护的特征信息库，然后运用 viterbi 算法对词位序 列求最优解，在实现 viterbi 算法的过程中引入了规则限制以去掉无效的组合，从而 降低了 viterbi 算法的计算量。在实验阶段，运用真实语料库进行训练和测试，并编 写了高效的性能评测算法对系统的分词结果进行分析。本文的研究方法可以通过汉 字的词位组合规律来识别未登录词，从而可以在未登录词的识别问题上做更进一步 的研究。 关键字： 中文分词,条件随机场,机器学习 II II Abstract The increasingly large information on Internet bring a great challenge to the information processing, especially in the field of Chinese information processing, one of the most important requirements is the Chinese word segmentation, which the main purpose is resolve the Chinese sentences to the words combinations correctly to make them understandable for computers. In many information processing fields, including information index, summarization, text categorization, automatic clustering, text correction, handwriting input, intelligent response, the Chinese word segmentation is the first step, so to strengthen the research of Chinese word has becoming very important. This paper converts the word segmentation problem to the combination of morphological characters successfully by using conditional random fields static model which introduces of the concept of Chinese characters position in a word. This make it can consolidate the characters by the rules of positions consolidation, the process is complemented through machine learning approaches, which not only improves the accuracy of segmentation, but also make the segmentation could get rid of dependence on the dictionaries. In this paper, the experiments are implemented by using JAVA language, firstly static the feature information in corpus and establish an extendable informat