流式计算框架分享.pptx

流式计算框架分享PART ONE流式计算定义和特点PART TWO主流流式计算框架内容简介PART FOURSpark Streaming和Storm介绍PART THREE流式计算框架技术路线1PART ONE流式计算定义和特点定义流式计算是针对连续不断，且无法控制数据流速的计算场景设计出的计算模型，常见的场景有搜索引擎、在线广告等PART ONE流式计算定义和特点特点数据不止，计算不停无稳态数据，计算随数据变化不可控，计算速度随数据速度变化2PART ONE主流流式计算框架主流流式计算框架数据传输层Flume：Cloudera开源项目数据计算层Spark Streaming：Apache Spark子项目Storm：Apache顶级项目S4：Yahoo原型产品，未发布Elastic Search：Apche顶级项目，最流行的搜索引擎数据应用层Splunk：商业软件，机器日志分析引擎Druid：大数据实时查询和分析的高容错、高性能开源分布式系统3PART ONE流式计算模型技术路线技术路线4PART ONESpark Streaming和StormSpark StreamingStorm计算模型：D-Stream模型优势：编程原语丰富，编程简单框架封装层级较高，封装性好可以共用批处理处理逻辑，兼容性好基于Spark，可以无缝内嵌Spark其他子项目，如Spark Sql，Mlib等劣势：调度耗时较大，不适合做实时性要求很高的需求稳定性相对较差机器性能消耗较大计算模型：Actors模型优势：框架简单，学习成本低实时性很好，可以提供毫秒级延迟稳定性很好，框架比较成熟劣势：编程成本较高框架处理逻辑和批处理完全不一样，无法公用代码框架Debug较为复杂Spark StreamingStorm应用场景：日志处理社交网站消息更新推荐系统运维报警配套框架：HBaseHDFSRedis关系型数据库Kafka应用场景：金融反欺诈，反洗钱在线广告投放配套框架：HBaseRedis关系型数据库Kafka谢谢！PPT模板：/moban/ PPT素材：/sucai/PPT背景：/beijing/ PPT图表：/tubiao/PPT下载：/xiazai/ PPT教程： /powerpoint/资料下载：/ziliao/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛： PPT课件：/kejian/ 语文课件：/kejian/yuwen/数学课件：/kejian/shuxue/ 英语课件：/kejian/yingyu/美术课件：/kejian/meishu/ 科学课件：/kejian/kexue/物理课件：/kejian/wuli/ 化学课件：/kejian/huaxue/ 生物课件：/kejian/shengwu/ 地理课件：/kejian/dili/历史课件：/kejian/lishi/