基于大数据平台的日志采集和分析系统的设计与实现.docVIP

PAGE XV 3 PAGE 31 中国石油大学（北京）现代远程教育毕业设计（论文） PAGE XV 基于大数据平台的日志采集和分析系统的设计与实现 摘 要 Hadoop大数据技术起源于互联网，近十年来Hadoop 大数据处理技术在很多企业中落地,近年来Hadoop社区也非常活跃，这就促进了 Hadoop 技术栈的发展及完善，在最初MRJob两阶段的分布式计算模型上，产生了更快的计算引擎，如Spark、Flink 等计算框架。 随着移动互联网的迅速发展及互联网+时代的发展，促使各行各业接入了移动互联网的大军中来，日志数据呈现指数级增长。要想满足用户行为分析，实时数据处理等方面的需求，已经