大数据与相关技术简介解说.ppt

目录 什么是大数据 大数据应用场景 大数据的相关技术 什么是大数据 大数据就是数据量大，很大，非常大 因为数据量大，所以可以用来做很多事情，或者是用来将很多事情做得更好一些 什么是大数据 不是随机样本，而是全体数据 小数据时代，精心设计的算法模型在大数据时代已经没有必要了，好的算法模型和不好的算法模型在大数据面前已经没有明显差距了 不是精确性，而是混杂性 因为数据量巨大，不准确的数据并不会对最终结果产生重大影响，相反在小数据时代，一个不准确的数字可能带来灾难性结果 不是因果关系，而是相关关系 事件万物都相互关联，但是没有必要苛求为什么关联，只要知道能关联就可以了 例子：1）沃尔玛在飓风之前将手电筒和蛋挞放到一起销售 大数据应用场景 大数据的很多应用场景之前就有，未必是因为大数据才兴起的，而是随着大数据技术而逐步完善的 过去是有心无力（有想法，无技术），现在是既有心又有力（有想法，有技术） 大数据应用场景 大数据应用场景 大数据应用场景 大数据应用场景 饿了么通过分析晚上的外卖，得出某某地方加班最多 farecast通过分析常年历史数据，得出某某日期机票最便宜(可惜微软将其关闭) 交管局通过分析实时交通数据，有效疏导客流，安排车辆 大数据应用场景 凡是数据量非常大的地方， 都是大数据的应用场景 通过大数据分析，能够获取很多结论和预测 大数据相关技术 分布式基本框架 zookeeper(竞争选举) mesos(资源管理) marathon（调度管理） chronos（调度管理） docker（虚拟化，进程管理，应用发布） hadoop（分布式计算系统，文件系统） HBase（数据库） Spark（更快的集群计算系统） 还有很多，不再举例 分布式基本框架 分布式基本框架 为了防止master单点故障，可以配置多个master，如图中有三个master 多个master中只有一个对外提供功能，该master称为leader 除leader外的其他master，作为备份，同步leader的数据，当leader失效后接管leader工作，并变为leader zookeeper zookeeper是分布式应用程序协调服务，为分布式应用提供一致性的服务，提供的功能包括：配置维护、名字服务、分布式同步、组服务 zookeeper通常用来进行选举leader。想想前面多个master之间选举leader 实际上zookeeper能做的事情很多， 选举leader只是其中之一 mesos:只是做资源调度，不做任务调度 多个mesos master通过zookeeper选举出leader leader下发任务到mesos slave 一个mesos slave可以执行多个任务 marathon:基于mesos的任务调度平台 基于mesos的任务调度 marathon适合启动会长期的、始终运行的任务，如果任务终止说明任务出现问题，marathon会重新启动任务，即marathon会确保任务始终得到执行（类比下p003中的sigcuggio.bin） marathon根据资源使用情况动态安排任务到某个mesos slave，每个任务在执行之前是不知道它将来在哪一台服务器上执行 chronos：基于Mesos的任务调度平台 和marathon区别： 1）chronos适合执行短期的任务，即任务在执行完毕后会主动退出 2）chronos可以定时执行某个任务 以上两点可以和定时器做下类比 3）支持通过某个完成的任务来触发新任务 docker:Build,Ship,and Run Any App,Anywhere Docker提供了一种在安全、可重复的环境中自动部署软件的方式，它的出现拉开了基于云计算平台发布产品方式的变革序幕 Docker Containers as a Service (CaaS) Docker使得软件开发、运维变得更容易，通过建立docker镜像，发布docker，可以方便的在任何地方运行基于docker的分布式应用程序 Docker解决的问题 可以简化部署多种应用实例工作，比如Web应用、后台应用、数据库应用、大数据应用比如Hadoop集群、消息队列等等都可以打包成一个Image部署 Docker解决的问题 虚拟化手段的变化: 云时代采用标配硬件来降低成本，采用虚拟化手段来满足用户按需分配的资源需求以及保证可用性和隔离性 可以类比下VM docker vs VM docker更轻量级 docker启动速度快 docker部署更容易 hadoop 开源的、可靠的、可扩展的、分布式的计算系统 hadoop包含下述模块 1）Utilities:基础工具模块，比如hadoop的基本命令