基于Storm和Hadoop的大数据处理架构的研究.pdfVIP

研究与开发 文章编号 ： （ ） ： 1007-1423 2015 04-0009-04 DOI 10.3969/j.issn.1007-1423.2015.04.002 基于 Storm 和 Hadoop 的大数据处理架构的研究 ， 靳永超 1 2 ，吴 怀谷 2 （1. 西华大学数学与计算机学院 ，成都 610039 ； 2. 成 都大学信息科学与技术学院 ，成都 610106 ） 摘 要 ： 针对现有的大数据技术 Storm 和 Hadoop ，分析其内部实现 机制 ，业务场景以及技术优缺点 ，提出一种基于 Storm 和 Hadoop 的新型大数据处理解决方案 ，以使得大数据处理更稳定 ，更高效 ，并对新型大数据解决方案进行性能测试 ，证 明其高效性和稳定性 所以这种新型架构是高效 稳定 可行的 ， 、 、 。 关键词 ： 大数据 ； Storm ； Hadoop ； 解决方案 （ ， ）编 程模式 。 的核 0 引言 Google File System GFS MapReduce 心思想就是将数据切片计算来处理大量的离线数据 。 在 当前这个信息爆炸的时代 ， 企业数据以几何的 Hadoop 有 很 多 优 点 ， 例 如 动 态 的 分 配 节 点 、 速度增长 ，预测到 2020 年 ，全 球存储数据量将会达到 任务监控 、跨机架保存块副本 ， 故 MapReduce DataNode 35ZB ，很 多像 Facebook 每天每小时产生的数据就达到 障后 ，可以动态记 录故障 ，并 重新 寻找离 客户端最近 的 10TB 数据[1] 。 像 这种海量的数据早已经远远超出传统 DataNode 进行任务 重新分配 ， 机架感知策略等都显示 数据处理技术的极限 ，无论是计算效率 ，还是计算时间 出其强 大的高效性 、高扩展性和可靠 性 。 但 是 Hadoop 都无法满足要求 。 所以对大数据的研究得到广泛的关 也有其明显 的缺点 ： 的 擅 长处理 ①Hadoop MapReduce 注 ，目前对大数据处理的研究主要使用两种核心技术： 少量大数据 ，对小数据处理不 擅 长 ，默认 64MB 为一个 一种是基于 MapReduce 磁 盘处理任务调 用 的 批 处 理 Block ，如果 出现大量小于 64MB 的小文件 ，同样 每个要 Hadoop 技 术 [1] ，另一种是 基于内存计算的分布式实时