彝文网页文本分词平台①.PDFVIP

2016 年 第25 卷 第 11 期 计 算 机 系 统 应 用 ① 彝文网页文本分词平台 孙善通, 王嘉梅, 李炳泽, 胡 刚 (云南民族大学 电气信息工程学院, 昆明 650500) 摘 要: 在机器翻译、自动分类、搜索引擎等技术中, 彝文分词具有很重要的作用, 同时也是彝文信息处理至关 重要的环节. 本文以当前的彝文分词技术为基础, 通过构建彝文词库, 并用彝文网页获取平台抓取彝文网页文本, 结合彝文特有的优势, 从分词词库、分词算法、结构流程、系统界面和模块、实验结果等方面进行了详细的分析, 最终实现彝文网页文本分词平台. 最后的结果表明, 本平台分词准确率较高, 实用性和通用性也较好. 关键词: 彝文网页; 词典分词; 词库; 彝文分词; 分词平台 Analysis and Discussion of Yi Word Segmentation SUN Shan-Tong, WANG Jia-Mei, LI Bing-Ze, HU Gang (School of Electrical and Information Technology, Yunnan Minzu University, Kunming 650500, China) Abstract: In the fields of machine translation, automatic classificationand search engine technology, Yi word segmentation plays a very important role, which is also a vital part in Yi language information processing. This paper is based on the current segmentation of Yi word.Through the construction of Yi thesaurus and webpages of Yi, we can grab the page texts of Yi. Combining with the advantages of Yi language, with a detailed analysis such as the thesaurus, word segmentation algorithm, flowchart and structure, system interface and modulesand the experimental results, we build the segmentation platform of Yi page text. Finally, the results show that the segmentation platform has a property of higher accuracy, practicality and versatility. Key words: Yi web pages; segmentation dictionary; thesaurus; Yi word segmentation; word segmentation platform 进入 21 世纪以来, 信息技术越来越发达, 越来越 理中还包括人工智能应用研究中, 彝文分词都很重要, [3] 多的科研人员投入到彝文的信息处理工作中, 使得彝 具有不可替代的实用价值 . 众所周知, 计算机语言 文信息的处理发展迅速[1]. 但要达到自动化的目标, 中的彝文文字信息处理所涉及到的信息检索、语义分 语言处