基于农业垂直搜索引擎中文分词词典的构建研究.pdfVIP

广东农业科学 2015年第 3期 165 基于农业垂直搜索引擎中文分词 词典的构建研究 张启宇 ，于辉辉 ，陈英义 一，王 磊 (1．中国农业大学烟台研究院，山东 烟台 264670；2．中国农业大学信息与电气工程学院 北京 100083；3．农业部农业信息获取技术重点实验室 ，北京 100083； 4．山东省农业科学院科技信息研究所 ，山东 济南 250100) 摘 要 ：在农业垂直搜索引擎研究过程中，中文分词是重要的研究方向。针对传统农业垂直搜索引擎搜索 信息抽取不准确 、速度慢等缺点 ，采用双数组 e树为基本模型 ，利用 中文词条首字区位码与数据库表行号相 对应的方式 ，并根据农业垂直搜索引擎的需要设置了农业词汇的词性编码 ，以MySQL数据库为例设计了农业 领域专用的分词词典。该分词词典可充分利用数据库的优势进行词典组织 ．并且可 以进行词库的远程共享和 共同维护 ，方便不同的系统进行访问；词条按首字分类存放构造双数组Trie树 ，可有效减少构造过程的内存空 间。该农业分词词典结构对其他领域和行业也具有借鉴意义。 关键词 ：中文分词 ：农业词典 ：MySQL；词性编码 中图分类号：$126；TP391．1 文献标识码 ：A 文章编号：1004—874X(2015)03—0165—05 ConstructionofChinesewordsegmentationdictionary basedonagriculturalverticalsearch engine ZHANGQi-yu，YUHui—hui，CHENYing-yi，WANGLei (1．YantaiAcademy，ChinaAgriculturalUniversity，Yantai264670，China； 2．CollegeofInformationandElectricalEngineering，ChinaAgricuhuralUniversity，Beijing 100083，China； 3．KeyLaboratoryofAgriculturalInformationAequ~itionTechnology，MinistryofAgriculture， Beijing 100083，China；4．InstituteofInformationTechnology，ShandongAcademyof AgriculturalSciences，Jinna 250100，China) Abstract：In the processofagnculturalverticalsearch engine research，Chinese word segmentation isan importantresearch direction．Verticalsearch enginesexisted inaccuracy，slow velocity and othershortcomingsfor informationextraction based ontraditionalagricultura1．Inthispaper，theTrietreemethodwasadoptedasthebasic modeltodesignthewordsegmentationdictionaryspecificallyforagriculturalusebasedonMySQLdatabase．The word segmentationdictionarycouldmakefulluseofthedatabasefordict