基于Hadoop的农业信息资源分布式检索研究与实现-计算机应用技术专业论文.docxVIP

另月数据 另月数据 研究生学位论文独创性 prl9J和版权使周授权书 独创铃声附 草人卢咧 g 所里变的治I皂 4、人tE E于i，lí掏导 F 远行的研究 l 作汲取得I1J吁吁 fiIl . 据我所切.政了 ? P斗争坤j加以中I.fH;l致汹的地h 外.论立中 4、包含他人已锐k衰成撰写 过的网究确渠.也早包贪均获得 II它tI育析。仰的学仪J!J.丛书 Iuttm过的材料.对 ì宜的 完成提Vtcl到岛的有且J 人员已在沧芷巾 fH明确的民明J.表示创怠 !!{N立fT ll(签字)， 跑堂 笼子 11别. 兰坠立:.!j. 学位论文版权使用援权书 ; 乍仔沦芷 (i 吉完全了 (宁位)有关仅归 使l昂干it守论文的规定，窍生过何i百井l再回 京11关部门J!J.lII.肉j呈交论A 的FII剧本和l电{版本-允iHHi由金饲和借阅 4人授领(T 饺尸j以将学位i;t的令部瑞雪u分内在铺i\ fiJ:.敛l\;J荤主茸Ii险章 . oJ 以采用能印、绍自J l1.IG扫描等 u 剖T?lI.( 古 矿硝学 论立. r..)1时提战中间科学技 信息研究所将 ι学r (1? 立技法?; (巾国学位ii?::íC会.. 位.u.:ln. ，坪 cl网络1均1i合公众提供情.!J.I蓝 ?r I í\(丽的 学位ìl!:t在所造后边时」、jQ仅在』 4、阳Iê j:N:肌足。/ n ，畸假冒，; (!l:幸自则以为 2 ?他以ft击机·棉雪 甚丰 1肌均1于. ?Fl习 t 机制 在于日制 t bH: I 万方数据 万方数据 摘要 随着农业现代化的发展，农业用户对于农业信息资源产生了巨大的需求，近年来由 于云计算、物联网、移动通信等高新技术的广泛应用以及政府和企业对农业信息化建设 的积极倡导和推动，我国的农业信息化建设发展迅速，产生了各类农业网站，提供了各 种丰富多彩的农业信息，为农业用户带了极大的便利，用户可通过搜索引擎方便地检索 所需要的农业信息。但是，日益增长的农业信息也给搜索引擎和农业信息化建设带来了 极大的挑战： 第一，农业信息化基础设施配置普遍较低、且较为分散，需要在现有的基础上对其 进行整合，达到资源的合理化和最大化利用；第二，面对海量的农业信息数据，传统的 集中式存储方式对服务器设备配置要求越来越高，昂贵的采购费用不利于农业信息化的 发展；第三，如何从海量的农业信息数据中快速准确地检索到用户所需要的信息，这给 搜索引擎提出了更高的要求。 针对目前存在的以上问题，对农业用户的检索需求进行调研分析，结合目前国内外 垂直搜索引擎的研究现状，本文对农业垂直搜索引擎进行了研究，研究内容主要有： 将 Hadoop 大数据技术引入农业信息检索工作中，在大规模廉价机器集群上采用开 源分布式平台 Hadoop 作为基础架构，利用开源分布式数据库 HBase 解决海量农业数据 的存储问题，在深入研究 Lucene 全文检索工具包的基础上，结合 MapReduce 分布式计 算模型在 Hadoop 上设计实现农业信息资源的分布式存储、分布式索引和分布式检索。 本文主要创新点包括： (1) 设计了海量农业信息资源在 HBase 中的存储模式，解决了大规模数据集的高效 分布式存储和实时随机读/写问题。 (2) 改变了 Hadoop 现有的文档随机划分方案，运用 Mahout 机器学习框架在 Hadoop 上对海量文档进行分类，按照分类建立分布式索引，根据用户意图对索引进行检索从而 减少了检索时启动的索引节点的数量，节省了系统开销，提高了检索效率。 (3) 运用 MapReduce 分布式计算模型结合 Lucene 原有索引机制实现了分布式索引 和检索；并且改变了 Lucene 原有的在磁盘上建立索引的方法，设计了先将内存作为索 引缓冲区然后将索引写入磁盘的建立索引的方法，提高了索引效率。 关键字：Hadoop、Lucene、分布式、HBase、聚类、缓存 I Abstact Along with the development of modern agriculture, agricultural users have an enormous demand for agricultural information resources .In recent years due to the Wide range of applications of high-tech such as cloud computing, networking, mobile communications, as well as the government’s and enterprises’ advocacy and promotion acti