大数据分析与处理技术方法研究.doc

PAGE24

PAGE23

大数据分析与处理技术方法的研究

摘要

随着物联网和人工智能技术的蓬勃发展，人们生活所产生和依赖的数据越来越多，传统的数据处理技术已经无法支撑人们在大数据方面的需求，对大数据进行有效地获取、分析和处理出变得日益困难。目前开源的分布式Hadoop框架已经成为技术公司使用的大数据开发工具，各大企业基于Hadoop生态圈开展了大量的创新和研究工作。本文主要围绕在Hadoop生态圈中对于大数据的数据采集、数据存储、数据分析、任务调度等方面的研究，主要研究了离线日志的收集方式，日志收集框架Flume和Filebeat的实现原理，HDFS的读写流程，大数据分析技术Map