大数据技术发展与分布式系统应用趋势.pdfVIP

大数据诞生的前夕，国内的趋势

数据量太大，一台机器存不下；存多台机器没法计算

大数据的技术，计算大数据的技术，是没有的

平地一声惊雷，2013年开始出现大数据的概念，BAT等大公司当时率先引入了国外的开源的

大数据的技术，2010年开始，BAT的一些大公司，团队，已经开始尝试自己研发能够和

计算大数据的分布式系统了，我也就是当时的一员

2015年开始，大数据就开始变得非常流行了，各种培训机构如雨后春笋般涌现出来，都是

号称的是从0基础培训，4个月，6个月培训一下就懂大数据了，就可以干活儿了

hdfs+yarn+mapreduce

hdfs：分布式系统，将庞大的数据分布式在很多台机器上，hadoopdistributed

fiystem，hadoop的分布式文件系统

大数据的本质，就是分布式系统，分布式系统，分布式资源调度系统，分布式计算系统，

分布式流式处理系统，分布式作业调度系统，分布式搜索引擎，分布式NoSQL数据库，分布

式数据仓库

各种各样的分布式系统

mapreduce：分布式计算系统，比如说你现在要对100亿条数据进行计算，但是这100亿条

数据分布在10台机器上，你该怎么计算呢？难道先针对1台机器上的10亿数据，先算，算