大数据学习要点.pptx

大数据交流;大数据技术介绍 大数据与ArcGIS 大数据的应用;无法使用常规软硬件进行存储和管理 无法使用常规软硬件进行处理 数据处理时间不在可承受时间内 ;传统存储 与 分布式存储HDFS;大数据的存储-分布式存储HDFS;支持大数据量，TB/PB级别，大文件尺寸 可靠的存储，复本自动维护 与MapReduce集成支持数据的本地处理;传统处理 与 分布式处理;大数据的处理-分布式处理MapReduce;假设系统每秒处理4000个文件 ;Hadoop核心;Hadoop生态圈;Hadoop生态体系;Mahout -- 数据挖掘算法库 Hbase -- hadoop生态圈内的关系数据库 Hive -- 用SQL语句进行分布式处理 Sqoop -- HDFS与传统关系数据库如oracle之间导入导出 Oozie – 将MapReduce的作业组合成工作流 … ;Hadoop核心;大数据与ArcGIS;空间信息大数据存储 IBM Netezza 7.0 Netezza Spatial Esri Package Teradata Windows Azure SQL Database Hadoop for GeoEvent 空间大数据挖掘分析 GIS tools for Hadoop ;IBM Netezza 6.0/7.0 Netezza Spatial Esri Package Ter