国内大数据技术演进与应用发展史.pdfVIP

大数据行业在国内的一个元年，大概可以说是2013年，有人提大数据，我就在BAT里，国

内最早的一批搞大数据的人，2013年前后，之前，我就开始带团队，自己写类似Hadoop的

HDFS、MapReduce之类的分布式大数据系统

引入国外开源的Hadoop，做了很多的源码级别的改进，没法支持几千台机器大规模集群的

部署和运行

2014年开始起步，国内做大数据的公司就不多，少数一些互联网公司会做，而且用的技术

都很原始，MapReduce、Hive，数据仓库的概念，Flume，最后报表数据进入MySQL，用图形

报表展示出来

2015年，慢慢的开始，做大数据的公司开始变多了，Spark，2015年年底录制了2套Spark

的课程，从到精通，大型项目实战，帮助了无数人，无数培训机构，几乎所有培训机构，

全部照抄我的Spark课程

用Spark手写一些作业，比MapReduce快，优化一些作业的性能

大家都玩儿Storm，当时都用这个东西来做实时计算，去一些实时数据大盘，统计一些关键

指标，计算逻辑都非常的简单，聚合分组，汇总统计

一般就是出报表，无论是互联网行业，还是传统行业，当时就干一个事情，出报表，运营、

产品经理、中，他们每天要看给公司的数据，传统公司，电信运营商，每个行业都需要

看数据

2016年开始，Sp