基于 SCRIBE 和 HADOOP 的海量数据分析系统.docVIP

豆丁网标准与论文：/week114 - - PAGE 1 - 基于 scribe 和 Hadoop 的海量数据分析系统 的设计与应用 刘彤1,2，辛阳1,2 5 （1. 北京邮电大学计算机学院，北京 100876； 2. 北京安码科技有限公司，北京 100876） 摘要：随着互联网、移动互联网和物联网的发展，各种终端、信息收集器的数量和种类不断 增加，每个人、世间万事万物每时每刻产生的大量数据，都在不断进入信息系统，等待存储、 分析和充分利用。本文介绍了海量数据分析中遇到的问题，分析了 scribe 和 hadoop 系统在 10 数据分析系统中的可靠性，设计了基于 scribe 和 Hadoop 的数据收集和分析系统，对该系统 的性能进行了测试、分析和应用。 关键词：计算机应用；Scribe；Hadoop；MapReduce；HDFS 中图分类号：TP317 15 Design and Application on Mass Data Analysis System Based On Scribe and Hadoop LIU Tong1,2, XIN Yang1,2 (1. School of Computer Science,Beijing University of Posts and Telecommunications, Beijing 100876; 20 2.