基于Spark的实时流处理平台.docVIP

题 目： 基于Spark的实时流处理平台 PAGE IV PAGE III 摘　要 在信息化普及和数据量突增的今天。大数据、机器学习、人工智能在各个领域开始应用普及。本次设计主要是对大数据各个组件的组合使用来完成数据的实时处理。在数据源采集中，主要使用了Java爬虫技术。在Java和前端的结合下，完成对数据的展现和运用。同时使用大数据中的Hadoop、Kafka、Flume以及SparkStreaming对这些数据处理。在整个实践中，前端开发主要是使用了Bootstrap框架以及ajax技术，地图展示使用了腾讯地图API，Java开发主要是对SSM框架和Json的应用。集群部署及功能