并行处理技术和海量GIS数据的碰撞.pptx

并行处理技术和海量GIS数据的碰撞;数据的宇宙 Hadoop的发展简史 Hadoop基础简析 ArcGIS与hadoop的碰撞 展望未来：我们的海量数据梦;数据的宇宙;先看一组数据;海量数据时代已经来临！;一个 Vs 一堆; 古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们想的并不是培育更大更壮的牛。同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。 格蕾丝·莫里·霍珀 (Grace Murry Hopper); Google通过他天才的软件架构设计，把成千上万台普通的PC机做成了一个廉价大型的集???，用以处理他面向“星球”级别的搜索服务。;Hadoop发展简史;Hadoop之父; Hadoop这个名词不是一个缩写，是一个虚构的名字，是卡廷的孩子给一头吃饱了的棕黄色大象取的名字。;;hadoop的天下;Hadoop基础简析;Demo：Hello World;Hadoop生态系统示意图;MapReduce是一种简单的分布式编程模型，可以用来编写大规模的数据分析处理的程序。 特点： 架构简单、方便扩展 容易实现 并行处理 多种语言支持 ;MapReduce是一种模式。 Hadoop是一种框架。 Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。;Map：映射 Reduce：约束（简化）;Hadoop Map/Reduce引擎是由JobTracker（作业服务器）和TaskTracker(任务服务器)组成。 JobTracker（google称为Master）是负责调度所有作业，它是整个系统分配任务的核心。它也是唯一的。 TaskTracker是具体负责执行用户定义操作，每个作业被分割为任务集，包括Map任务和Reduce任务。 ; HDFS是Google GFS存储系统的开源实现，主要是作为并行计算环境（MapReduce）的基础组件，同时也是BigTable（如HBase、HyperTable）的底层分布式文件系统。 HDFS采用master/slave架构。一个HDFS集群是有由一个Namenode和多个Datanode组成。;NameNode与DataNode;假设系统每秒处理4000个文件 ;ArcGIS与Hadoop的碰撞;海量的矢量数据;海量的影像数据;Demo：ArcGIS 与 Hadoop;命运让他们相遇,历史的车轮开始了转动; GIS Tools for Hadoop不仅在GIS与hadoop之间搭建起了一个桥梁，还定义和构建了一整套大空间数据分析的环境。 —— Marwa Mabrouk product manager at Esri;GIS Tools for Hadoop的组成;GIS Tools for Hadoop的组成;操作系统：任意 linux 64bit JVM : JDK 1.6.0 以上 Hadoop版本：1.0.0以上（0.23.x） Oozie : 3.3.0 以上 可选工具：eclipse 以及hadoop的插件 ArcGIS 版本：ArcGIS 10.1 sp1以上 ;展望未来：我们的海量数据梦;几点疑问：速度;几点疑问：能力;几点疑问：DB还是hadoop;再看这组数据;DB还是hadoop;题外话：12306与淘宝;也许有那么一天……;未来无限……;/esrichina;谢谢大家！后面更精彩