农业云大数据自组织推送关键技术综述.docVIP

农业云大数据自组织推送关键技术综述 　　摘要：“信息过载”是大数据时代农业用户发现感兴趣信息面临的一个严重问题，个性化推送是解决该问题的一个有力工具。本文提出了农业云环境下大数据自组织区域推送的必要性，同时阐述了当前几项热点关键技术，包括用户建模、推荐对象建模和推荐算法及云计算下个性化数据挖掘，并尝试给出了推荐系统未来研究的难点、重点和热点问题。 　　关键词：推荐系统；云计算；数据挖掘；个性化 　　中图分类号：TP393 文献标识码：A DOI：10，3969/J.issn.1003-6970.2013.03.001 　　本文著录格式：[1]郭平，刘波，沈岳，农业云大数据自组织推送关键技术综述[J].软件，2013，34（3）：1-6 　　0 引言 　　随着物联网、云计算、下一代互联网等新一代信息技术的快速发展和信息内容的日益增长，“信息过载”问题愈来愈严重，推荐系统（recommender systems）被认为可以有效的缓解此难题，帮助用户从海量数据中发现感兴趣信息，满足个性化需求。 　　近年来，我国在农业个性化知识服务服务领域从本体论、语义网、知识工程角度开展了广泛的研究，成果主要体现在三个方面：以搜索引擎为代表的知识检索系统，需回答大量预设问题进行知识推理的专家系统，特定领域应用系统，它们在各自的场合都发挥了积极作用。然而知识检索系统不能满足用户个性化需求，专家系统的应用很难普及，特定领域应用开发成本高和重用难度大。物联网与数据挖掘云服务提供知识服务云实现物理世界的“感知控”，知识服务云的研究主要集中在制造和图书情报领域，云环境下的农业个性化知识服务的研究尚处于起步阶段，主要集中在服务模式的构建与展望。 　　本文是对科技部科技支撑课题“农村农业信息化关键技术集成与示范”（2011BAD21803）与“农村物联网综合信息服务科技工程”（2012BAD35800）研究成果的总结，也是对农业云推荐系统研究的升华。 　　1 农业云大数据自组织区域推送的提出 　　1.1 农业信息资源特点 　　我国自“十一五”时期以来，农业农村信息化发展取得了显著成效，主要表现在农业农村信息化基础设施不断完善、业务应用深入发展、物联网技术在农业中逐步推广应用等方面。从中央到省，市、县建立了“三农”综合信息服务平台，涉农企业、组织和科研院所也积极搭建了各具特色的农业信息服务平台，目前正向乡镇村发展。农村信息员队伍及以农业综合信息服务站和农业合作社为代表的农村信息服务机构发展迅速，“三电合一”、“农民信箱”、“农村热线”等信息服务模式应用深入。云计算利用海量的存储能力把农业信息资源形成高度集成和虚拟化的计算资源一“农业知识聚合云”，支持用户在任意位置、使用各种终端方便获取信息，但由于农业领域生态区域性和过程复杂性及农业区域发展不平衡和农民文化的多层次性也带来了“信息过载”、“资源隐晦”“资源迷向”等问题。 　　1.2 农业云环境下大数据自组织区域推送 　　物联网和云计算背后是大数据，在云计算模式下，用户不确定的、智能的交互，个性化需求更加多元化，信息交互行为更加频繁；在大量用户通过社会标注达成共识的过程中，逐渐形成不同社区，涌现出群体智能，形成“农业用户兴趣社交云”。利用云的海量存储、群体涌现智能、强大的计算能力和物联网感知控优势，可以提供面向用户复杂分析计算，实现业务重点由面向应用和资源的传统信息服务，转变为基于对海量农业知识进行动态划分，有目的、主动、定制、自组织推送给有需求的农业用户，为农业用户提供实时性、个性化知识服务，指导农业生产过程。 　　首先以Hadoop+MapReduce+HBaSe分布式框架为处理平台，对“农业用户兴趣社交云”，融合用户兴趣偏好和社交网络进行建模，将这些多元用户信息充分融入推送系统会更好产生推荐结果；将推荐对象“农业知识聚合云”按农业知识高维性、多样性、多层次性特征分类聚类为各种知识块静态和动态元数据；通过智能算法推荐和社会网络推荐为用户发现个性化内容；根据用户的地理位置、用户服务的评价以及云基础服务提供商信息将预测值最高的服务推送给用户实现与物理世界的互动（如图1）。 　　从以上分析可知，农业云大数据自组织区域推送的关键技术有用户兴趣模型、推荐对象模型，推荐算法、数据挖掘四个部分，以下分别对这几项技术进行论述。 　　1.2.1 用户兴趣模型 　　用户兴趣建模是个性化服务技术的基础和核心，包括数据收集、模型表示、模型学习与模型更新。用户兴趣建模的方法有很多，常用的有向量空间模型、神经网络、遗传算法、用户一项目评价矩阵、基于案例的表示、基于本体论的表示、基于加权关键词的表示，基于社会网络的表示等。几乎每种表示形式都是以一种私有形式进行知识表示，此外一些表示技术还依赖于模型学习，如广泛使