基于蚁群算法的汉语自动分词的研究与实现-计算机应用技术专业论文.docxVIP

基于蚁群算法的汉语自动分词的研究与实现 基于蚁群算法的汉语自动分词的研究与实现 摘要 摘要 汉语自动分词是中文信息处理领域中的基础课题，其中，歧义切分的消除是 影响分词精度的关键问题。国内外很多学者在自动分词领域展开了富有成效的工 作，但在提高分词精度上，仍然存在着很大的困难。 我们研究发现，对于汉语自动分词，首先，必须对影响分词精度的语言。现象 作针对性的研究，做到对问题的实质从总体上把握；其次，必需考虑分词算法的 设计，建立分词模型，提高模型的计算能力；并研究在分词过程中提供更有效的 语言信息的度量。 本文在分词建模过程中，启发于蚁群算法在解决一系列复杂组合优化问题中 所表现出来的卓越性能，创造性地将蚁群算法模型运用到汉语自动分词问题中歧 义字段的识别和切分上面，通过汉语句子在内存中表示的数据结构的设计，构造 了我们的分词模型，以词频作为启发因子，巧妙的将纯粹分词问题转化为词的选 择问题，并从计算的角度，分别以绝对减值法和后备法给出我们相应方案的详细 设计。实验结果显示我们的基于蚁群算法的汉语自动分词方法是一个可行的解决 方案。 在统一的语料测试集上，我们就本文分词算法和中科院计算所的汉语词法分 析系统在歧义切分上做了一个全面的比较。并就分词知识从词频、语义信息层次 上展开了讨论，作出了展望。 关键字： 汉语分词；歧义切分；蚁群算法 作者：罗小虎 指导老师：吕强 Research Research and Implementation of the Chinese Automatic Word Segmentation based on the Ant Colony Algorithm Abstract Chinese automatic word segmentation is the fundamental task of the Chinese Inf01Tnation Processing．The elimination of the segmentation arnbiguity is the key factor affecting the segmentation precision．Many researchers have put forward many methods on this topic in the past years．But in the issue of improving the performance of the ambiguity recognition and segmentation，we still have many huge problems According to our research．we firstly,believe the importance血at the research pertinent to the linguistic phenomenons which works on the segmentation precision， so that we can have a good understanding on the very essence of the problem wholly． Secondly,the modeling of the segmentation and the design of the algorithm，we focus on the enhancing of computing ability of the segmentation model．And also we give an intensive consideration on how to measure the 1inguistic information during the parsing course- As the Ant Colony Algorithm was applied successfully to the well．known Traveling Salesman Problem(TSP)and other hard combinational optimization problems．The author tries to apply it to solve the Chinese automatic word segmentation by designing the data structure of the sentence．Relied on the frequency of the word as the heuristic value．this paper converts the pure segm