（共84页PPT）华北电力大学大数据与人工智能课件第3章大数据处理.ppt

从Hadoop+Storm架构转向Spark架构采用Hadoop+Storm部署方式案例从Hadoop+Storm架构转向Spark架构用Spark架构优点：实现一键式安装和配置、线程级别的任务监控和告警降低硬件集群、软件维护、任务监控和应用开发的难度便于做成统一的硬件、计算平台资源池SparkStreaming无法实现毫秒级的流计算。需要毫秒级实时响应的企业应用，需要采用流计算框架（如Storm）用Spark架构满足批处理和流处理需求Hadoop和Spark的统一部署不同的计算框架统一运行在YARN中，可以带来如下好处：计算资源按需伸缩不用负载应用混搭，