速记：SFDC 2016 - TalkDataing 阎志涛 《大数据流式处理技术》.docxVIP

主题：2016杭州开发者大会—服务端分会场 时间：2016年12月10日下午1：40 会场主持人：百姓网 贺师俊Hax 议题：《大数据流式处理技术》 讲师：TalkDataing 阎志涛 阎志涛：谢谢！我是在从事技术里面岁数比较大的，从90年代末一直在搞技术搞到现在，从C++到JAVA到后面的搞数据，一直从事到现在，有接近20年的时间。我不知道在座的有多少是从事大数据相关的工作？可以举一下手，不是特别多，大家现在对微服务之的比较感兴趣。因为我原来都做服务端和中间件和企业基础服务这块相关的东西，到2012年之后开始从事大数据相关的东西。我原来是大气物理，那时候是面向数据的，因为大气物理，大家知道的天气预报，虽然天气预报不准，但是它是基于数据来做的科学，里面有很多的模型去支撑整个天气预报的结果。2012年开始我回到跟我本行业有相关性的，做数据相关，只不过区别是现在用数据来希望能够发现跟人相关的东西，所以我现在今天的话题是跟流式计算相关，提到大数据大家都知道，这几年一直是比较热门的技术，但这里面有一点，数据是在每时每刻产生，但它的处理是一批一批处理，原因是技术的限制达不到，能够现处理出来就不错了。但是随着这两年技术的发展，我今年正好是9月份的时候去美国参加一个大会，特别明显的一个感受是大家都在谈一个概念，就是流式大数据。这里面有很多新的技术也在产生，因为今年参加那个会的时候感受特别明显，大家不管是做分析的还是预测的，都在谈用流式技术来处理问题。我就想自己回来整理一下，怎么解决延时和处理效果更好地实时展现给大家，我们在刚创业的时候做过一些探索，但是鉴于当时的技术不成熟，我们做了很多自己的工作。但是这几年大数据的技术发展确实非常快，让流式技术这两年突飞猛进地发展。我今天就给大家分享我这几个月的一些总结，这里面有的有理论性的东西，有些是自己的实践。 自我介绍就不介绍了，刚才开场已经说过了。公司的介绍稍微过一下，我们是2012年成立的专门做数据的一家公司，如果有做移动应用的知道我们比较多，我们一开始服务于移动应用的开发者，慢慢地服务于整个企业客户包括大家耳熟能详的银行，股份制银行里面，招商、平安都是我们的客户，包括保险公司、证券、房地产公司都是我们的客户。我们的做法是利用数据的能力，帮助客户解决问题，现在客户有一个诉求是希望用数据解决新的挑战，我们在这个有自己的积累，移动互联网的积累，也帮助一些企业客户做相关的事情。公司的广告就不说了。 这是今天的正题，说到流式技术，首先要考虑什么是流式技术，这个概念出来的时间其实已经蛮长了，在大数据领域里面这两年变得很热，第二个是为什么要做流式处理，在流式处理里面有什么样的技术，还有跟流式处理相关的架构，还有一些架构是我们当时在做的时候没有想到后面有人处理出有名词的东西，再后面是我们自己的一些实践。 什么是流式处理？这个词是有计算机体系架构的时候就提出来的词，只不过后面一直在更新，流式处理等同于什么呢？等同于数据流编程，还有一个是数据流处理，还有一个最近比较热的响应式编程。这里面突出几点，第一个是这里面基本上所有的东西都反映一点，数据要流动，第二个是要快速地响应，还有一个是运行处理。实际上大家想一想，整个计算机体系结构里面，自己就是个流处理的过程，现在的大数据时代，数据的产生是分布式的产生，处理也是希望能够达到分布式处理的过程。 我稍微做了一下总结，流处理是什么？有几个特点，第一个是数据是流动的，因为确实现实世界里面数据的产生是流动的，你时时刻刻都在产生，只不过处理跟不上流动产生的速度。然后是持续的计算，因为你的数据一直在流动，要求你能够在持续地进行数据计算，这样才叫流式处理。另外一个是正是因为数据一直上升，你需要持续计算，这个时候为了响应大量数据的处理，你要能够达到并发，就是并发处理。这是它的基础概念。 对于流式处理来讲，最简单明了的，因为我准备这个，也是我们CEO一直跟我说，现在我们觉得我们自己的平台，要去演进，有的时候客户会想你能不能更快速地响应。这里面带来几个东西，一个是快，一个是低延时。原来出大数据的时候，所有的没有核心的数据系统，最早的IT领域发展到现在，我正好从事了这么多年，最早是先做业务系统，业务系统不是流量，是面向业务的，数据进来之后是触发各种业务，然后数据存留下来再去做事后的分析，当时在企业和行业里面数据产生量也不是特别大，大家都是在关键数据库里面把数据产生出来，但是它是一般的核心业务系统，我刚工作的那段时间，90年代末、2000年代初的时候有一个概念是BI，会有一些BI的软件，会把数据从各个数据源头里面，一般是关键数据库里面拎出来，会做一些数据的典型的ETL，这是当时就产生的名词，抽取、转化、装载，装载到数据仓库里面去做。那个时候一般的数据处理