第二章 Storm实时数据分析平台 01幻灯片.pdfVIP

Storm实时数据分析平台 第1课 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 关于本课程的预备知识  Linux ：懂基本操作  Java ：能看懂Java程序 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 参考书 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 参考书 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 实验环境  与Hadoop课程类似  三节点，可以使用虚拟机  Linux ，JVM DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 大数据平台知识路线图 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 课程目标  部署：storm和zookeeper集群  了解storm的架构和基本工作原理  掌握storm的spout,bolts,topology等组件的组成和原理  能书写基本的java 程序运行storm的实例，懂得在本地模式下调试，开发topology和 提交topology到storm集群  应用Storm进行实时数据分析 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 实时流计算  互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大 大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需 求，软件行业 除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展 最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转 账，连实时查询都 做不到，但是数据库和高速网络改变了这个情况。  随着互联网的更进一步发展，从Portal信息浏览型到Search信息搜索型到SNS关系交 互传递型，以及电子商务、互联网旅游生活产品等将生活 中的流通环节在线化。对效 率的要求让大家对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往 信息链甚至信息网的方向发展，这样必然带来数据在 各个维度的交叉关联，数据爆炸 已不可避免。因此流式处理加NoSQL产品应运而生，分别解决实时框架和数据大规模 存储计算的问题。 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 流式处理场景：算法交易 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 流式处理场景：算法交易 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 关系型数据库不适合流式处理 DATAGURU专业数据分析社区 Storm实时数据分析平台讲师 黄志洪吴仕灿 实时流计算  早在7、8年前诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究，但是由 于更多的关注于金融行业的业务场景或者互联网流量监控的业务场景，以及当时互联 网数据场景的限制，造成了研究