在Hadoop基本上的数据处理系统的构建研究.docVIP

在Hadoop基础上的数据处理系统的构建研究 第 1 章 绪论1.1 研究背景和意义随着科技的进步以及互联网技术的不断提高，越来越多的智能设备被人们所使用。而如今物联网、云计算等新兴技术也开始逐步影响着人们的生活，随之而来的就是这些数据载体所导致的数据量增长的问题，比如 Facebook 每天所要处理的数据量就在 500TB 左右，如何处理这些海量数据成为了每个公司发展的瓶颈。据统计，截至到 2015 年全球的数据量将达到 8.5ZB，而且将以每 18 个月翻一番的趋势增长，其中以电子商务交易数据、社交网络数据和移动终端数据为代表的三大主导非结构化数据将占全球数据总量的 90%[1]。无疑，大数据的时代已经到来。本文要处理的数据是温度传感器采集的数据，因此在短时间内就会产生大量的数据，而且这些数据是不断增长的，如果采用传统的数据存储模式即使用处理能力很强的大型机和关系型数据库，即将全部数据存储到具有很大容量的磁盘上。虽然近年来磁盘的存储容量不断增加，但是其访问速度却未能与时俱进，比如读取具有 1TB 数据的磁盘，其速度传输速度为 100MB/s，读取完所有数据仍需要 1个小时[2]。所以面对这些不断增长的温度数据，即使再大容量的机器也不能从根本上解决大数据的存储问题；而关系型数据库的缺点是只能存储结构化的数据、没有较好的弹性和容错性等，所以传统的处理模式已经不能满足要求了。