面向农民的问答系统数据源构建(农业图书情报学刊).docVIP

面向农民的问答系统数据源构建( 王永芳1, 贾君枝2 (1 山西大学商务学院 太原 030031) (2 山西大学管理学院 太原 030006) [摘要]为使农民更方便地获取信息，文章提出了一种面向农民问答系统的构建，系统由本地数据源构建、问句处理、信息检索和答案抽取四个模块构成，其中数据源构建是研究重点。采用目前流行的网页抓取工具从链接分析后筛选的网站中抓取所需网页到本地,根据系统需要提取纯文本。同时，开发工具将纯文本进行自然语言处理后存入数据库，构建了系统所需的基于农业类和生活常识类信息的结构化数据库，保证了系统数据源的权威性、针对性。 [关键词]农民信息服务,问答系统,数据源构建 [中图分类号]G354.4 [文献标识码] A Database Construction of Farmer-Oriented Question Answering System Wang Yongfang1 Jia Junzhi 2 (1 Business College of Shanxi University, Taiyuan 030031，China)(2 School of Management, Shanxi University, Taiyuan 030006，China)Abstract]In order to improve the convenience of farmers access to information, this paper prepares to develop the farmer-oriented question answering system and proposes that the system is consisted of four modules: local data source construction, question processing, information retrieval and answer extraction, in which local data source construction is the research priority. We adopt the widespread web spider to grab web pages we need from websites screened through link analysis, the pure text will be extracted according to the system’s requirement. To construct the structural database basis on information about daily life and agricultural information, the pure text is put into database after natural language processing using the developed tool, which ensures the system’s data source authority and pertinence. [Keywords]Farmers information service; Question answering system; Database construction 当前，随着农村信息化的发展，农民利用信息资源解决生活中遇到的问题的需求更加迫切，然而其科技认知水平低，在百度、谷歌等搜索引擎不能直接得到他们所需的信息，如果在此基础上再建立一个面向农民用户的问答系统，根据农民的自然语言提问，直接提供对应的答案，将非常便利于用户的使用。因此本文所构建的问答系统旨在将与农民密切相关的农业信息及生活常识信息进行结构化组织，系统针对农民提出的问题，直接向其提供问题的答案，不需农民做进一步的选择与判断。 数据源是问答系统的后台支撑，目前国内外问答系统的数据源主要有两种形式[1]：一类系统构建问答系统的本地数据源，另一类系统不构建问答系统本地数据源，而是利用第三方的数据源来为问答系统提供后台数据。将构建问答系统所需的网上有关信息都下载到本地，然后统一加工处理，就可以构建本地的数据源。采用这种方式，可以根据问答系统的设计特点来组织数据，对答案抽取更有针对性。目前采用这种方式的问答系统有START[2]和AskJeeves[1]等。使用第三方数据源作为数据库的系统没有自己的本地数据源，它将搜索引擎的检索结果直接作为数据源。使用这种方法虽不用建立和维护本地数据源，但是利用其他搜索引擎返回的结果，这会过度依赖搜索引擎的性能。而且这种方式需要大量网络传输