基于组合模型农业信息情景感知系统研究.docVIP

基于组合模型农业信息情景感知系统研究 　　摘要：在大数据环境下，农户在互联网中获取指导农业生产的信息更加困难，随着“一带一路”国家发展战略的全面展开，广大农民对农业信息服务的需求有增无减。针对传统推荐系统不能反映用户兴趣迁移、推荐精度不高等问题，提出来基于组合模型的农业信息推荐系统，提高农业信息推荐的自适应性和准确性。系统结合云计算技术提出一种基于Hadoop+Nutch的全网农业信息数据仓库构建方法，通过纳入时间权重、情景变更和兴趣迁移的优化向量空间模型构建了自适应性的用户兴趣模型，以及借助组合神经网络提高推荐精度提出了组合推荐算法。最后通过评价召回率、准确率等指标表明，基于组合模型的推荐系统可大幅提高推荐准确性和鲁棒性。 　　关键词：农业信息大数据；推荐系统；自适应兴趣模型；组合推荐算法 　　中图分类号： C931.6；S126文献标志码： A文章编号：1002-1302（2017）17-0209-06 　　通信作者：闫琰，博士，主要从事农业经济理论与政策研究。E-mail：yanyannewgirl@163.com。随着全球农业市场化、国际化进程加快，农业信息市场流通环节增多、信息海量且分散凌乱，农业信息更多以非结构化数据的形式出现。海量的农业信息呈现出大数据的特征：数据量大（volume）、处理速度快（velocity）、数据类型多（variety）、价值大（value）、精确性高（veracity）[1]。目前，我国已建成的农业类网站超过4万个，2015年中央一号文件更是强调要“支持电商、物流、商贸、金融等企业参与涉农电子商务平台建设”。然而我国当前农业信息服务开展的困境是农户很难在农业信息大数据中获取需要的信息。因此，亟需可以对农业大数据进行整合分类后根据农户兴趣进行推荐的信息服务体系，以解决农民信息技术能力有限和大数据之间的矛盾。但是我国农村地域广阔、农业信息时效性敏感、农业信息分类繁杂，农户兴趣随着时间和情景的改变也会迁移，因此传统的推荐系统已经不能满足农户对海量农业信息的特殊需求。本研究针对上述问题，首先通过云计算技术构建了基于Hadoop+Nutch的全网农业信息整合和分类数据仓库[2]，充分考虑时间权重、情景变更和兴趣迁移等因素后，优化向量空间模型，构建了自适应性的用户兴趣模型，最后提出了1种借助组合神经网络提高推荐精度的组合推荐算法，并通过召回率和准确率评价了系统推荐性能。 　　1基于组合模型的农业信息情景感知推荐系统设计 　　基于组合模型的农业信息推荐系统由4个子系统构成：全网农业信息整合和分类子系统、情景自适应实时用户兴趣模型、组合神经网络推荐优化子系统以及推荐内容可视化子系统。首先，系统通过全网农业信息整合和分类子系统获取全网农业信息并对海量的数据进行整合和分类，通过特征提取技术建立特征索引，然后通过自适应用户兴趣模型子系统对用户的兴趣进行建模，再通过组合神经网络推荐优化子系统将用户感兴趣的内容进行个性化推荐，同时根据用户反馈训练神经网络以提高系统推荐的准确性，最后将推荐的内容在推荐内容可视化子系统友好地展示给用户。本系统的优点在于不仅能为目标农户提供检索信息的功能，同时可以将与其检索内容相关的内容一并推送给目标农户。农户提交请求后，系统将输入转化成特征向量，通过特征的权重连接输出和输入。系统通过组合推荐算法将最终输出计算值大于预设阈值的页面推送给目标农户。系统技术路线见图1。 　　1.1全网农业信息整合和分类子系统 　　全网农业信息整合和分类子系统的主要作用是为整个体系提供信息源，通过整合和分类为推荐服务奠定基础。面对数量庞大，数据结构多元化的全网农业信息，全网农业信息整合和分类子系统采用分布式搜索引擎Nutch完成对繁杂信息的聚合，依托云计算平台Hadoop完成??海量数据的存储与处理[3]。 　　1.1.1分布式农业信息获取对农业大数据进行聚合检索采用分布式搜索引擎的开源搜索引擎Nutch的优点是利用其开源性，可查看并改进其源代码，有利于在此基础上进行系统二次开发和整合。具体的实现过程如下：首先，对当前有代表性的农业权威网站（如收购商类、政府官方农业信息类网站以及农业技术类网站等）进行归纳整理，生成1个源URL文件作为开启搜索任务的种子。然后，将Nutch搜索引擎分布式地部署到Hadoop云计算架构中，启动各个节点虚拟机的Nutch进程开启分布式农业信息抓取任务。同时，对获取的农业信息进行结构化分析，分类获取HTML源里的有用信息。最后根据各个页面按照主题和关键词聚类，创建时空逻辑关联，通过HDFS分布式存储建立农业信息分类数据仓库。 　　1.1.2农业归档信息预处理与特征提取对数据仓库中的农业信息网页需要进行预处理和特征提取，以构建结构化数据。该部分主要工作有过滤重复