农业知识库系统的设计与实现.docxVIP

农业知识库系统的设计与实现 0 构建立体网络,实现资源共享 农村科技信息综合服务平台整合了农村科学信息（12396）和远程互联网技术工作网络，实现了信息交流，避免了重复建设，实现了信息资源共享的目的。构建了农村信息三维网络服务体系，即“电话和电子邮件、电视和广播、网络互动、现场回答”。 该平台由互动式呼叫中心、农业知识库、远程信息服务终端组成。农业知识库是此平台3个子系统之一。 为此,将以实用性出发,重点讨论系统构造的关键技术,主要包括系统的架构,农业知识库,农业中文分词器和查重器的设计。 1 系统的解决技术 在系统架构设计中,综合考虑稳定性、可靠性以及可维护性,主要采用模块化设计思想和分层结构体系。分层结构可以将子系统从逻辑上划分成许多集合,而层间关系的形成需遵循一定的规则。这种结构能够有效减少子系统之间的依赖关系,使系统的耦合方式更加松散,达到易于维护的目的。系统结构如图1所示。 本系统主要解决以下的技术难点: 1)关键词的提取由于农业词汇过于生僻,普通的中文词典很少收集这类词汇,因此在中文分词过程中,难以精准提取农业关键词。 2)方言词汇的处理。湖南省是一个方言较多的省份,必须考虑方言词汇的处理。在分词时,需快速、准确地对方言词进行切分和翻译。 3)查重及检索速率。在查重和检索过程中,必须要对农业知识库中相关条目进行比较,或者通过计算得到相关度。这是一个相当复杂的过程,且时间复杂度非常大。 4)查重器。数据录入时,需要对知识库的知识查重,减少数据冗余。 2 主表组合设计 农业知识库主要包括水稻、油料等10个数据库。每个数据库根据常见的类型分为两个表:特色类型表和加工类型表。另外,还增加了综合管理数据库、农产品实时价格数据库及农民工就业信息数据库等。 农业知识库中的每条记录由知识组成,而知识的信息主要包括问题的标题、标题分词组、关键词、方言关键词和成因等20个字段。 构建农业知识库时,需综合考虑知识的可拓展以及数据的安全和负载均衡。因此,应遵循以下规则: 1)对每个产业,需构建知识问答、产业专家以及方言词汇转换等6大基本数据库。若该产业需要拓展6个数据库以外的信息,则可以增加一个该产业的子数据库。 2) 在知识库中,不同产业中内容相同的主表应能合并成一个总表。因此,在设计这些主表时,具有相同意义的字段,必须有相同的字段名、类型以及大小;且合并时,需满足约束规则。 3)为了使每个产业都有唯一的编号,必须设立一个产业类型的总表,且在产业数据库中的每条知识均有相应的字段对应其所在产业的编号。 4) 对问答知识定位时,采用知识树结构。这样可以有效地确保知识库中每条记录有一个字段记录该知识树的编码。 5)在数据库的设计和使用时,需建立视图来确保数据库使用的高效性。 3 分词器准确性检查 分词器的目的是提取关键词,比较准确地提取关键词对提高本系统检索和查重的准确性十分重要。对生僻的农业专业词汇和农业方言词汇,用一般的农业词典无法准确地切分,分词器准确率也很低。因此,本系统专门设计了农业专业分词器。 3.1 改进词典的设计 检索和查重时,考虑到分词器对词典的频繁操作,以及增、删、改操作对于词典设计的重要性,应采用汉字GB码来设计词典。将GB码中6 763个区位与6 763个汉字的开头建立一一对应的关系。因为方言要先翻译成书面语,所以在数据库里要建立方言词和农业专业词一对多的对应关系。 3.2 hish算法介绍 哈希是查找算法中比较高效的方法之一,其核心思想是通过地址与值之间的映射关系来进行数据的定位。本文自行设计了一个哈希函数。其设计过程是:假设有一个词条word,如去掉首字后还剩n个字,用I[j]和I[j]分别表示第j个字的GB码高位和低位,于是Hash函数表示为 Hash(Value)=∑j=1n(I[j]?1000+I[j])(Value)=∑j=1n(Ι[j]?1000+Ι[j]) 与其他查找算法相比,Hash算法最有优势。 词典结构主要考虑空间复杂度、查找的时间复杂度以及方言词翻译的时间复杂度。词典结构如图2所示。这种方法可以节约存储空间50% 以上。 本词典来源于互联网免费词典,有12万左右的词条,含少量的农业专业词汇,满足本系统的要求。 3.3 算法的时间复杂度 本系统实现了数组、链表以及AVL树等分词方式,并将其与农业分词算法与其通过查找、插入、删除3个方面的时间复杂度和操作速率比上进行比较。通过比较表明:本文算法在以上3个方面的时间复杂度均为O(1),其它算法为O(n)或O(n)·O(logn)。操作速率比如图3所示。 4 知识管理模块 在系统中,知识库负责整个平台的咽喉—知识的“出”和“进”,是其核心部分。在知识库系统中,为了减少知识库的知识冗余,控制知识的入口至关重要。如果想录入知识,系统会对知识库内容查重。通过