数据湖时空大数据分析云平台.pptVIP

基于数据湖架构的时空大数据分析云平台

数据存储选型NASStandaloneDirectAccessEnterpriseCloudNFSHttpSimple/ObjectStoreElasticitCIFS

数据存储形态变化数据来源多样数据类型多样数据海量异构传统的数据存储和分析方法不再能满足大数据和人工智能场景下的业务需求,为了实现更高的敏捷性和灵活性,需要一种新的架构模式。

数据存储与分析发展阶段1.0:基于关系型数据库的传统数据仓库2.0:以Hadoop为基础的传统大数据分析（HDFS、MapReduce、YARN）3.0:以数据湖为基础的支持异构技术融合的架构

什么是数据湖？数据湖架构可以在一个集中式存储位置安全地存储、分类和分析所有数据,且数据可以按照原始格式存储而无需转换为预定义结构。

数据湖发展2011年概念2016年AmazonAWSMicrosoftAzureGoogleCloud2018年阿里云华为云

地理信息领域对数据湖架构的已有应用OpenStreetMap(AmazonAWS)GoogleEarthEngine(GoogleCloud)EsriArcGIS(WindowsAzure)

数据仓库与数据湖GBvsPB数据湖并非对数据仓库的替代,而是在应用场景上的相互补充

大数据分析与数据湖------存储与计算分离存储和计算可独立扩展一份数据,多种计算（传统处理分析、大数据处理分析、机器学习等）弹性计算,资源回收大数据分析可作为数据湖分析的手段之一

来自阿里云的测试------存储与计算分离成本可节约一半以上,性能损失不到10%,且在高并发情况下,存储与计算分离架构更具有优势。多、快、好、省,不能只能看“快”

基于数据湖架构构建时空大数据云平台

基于对象存储构建数据湖存储AWSS3（2006年）,阿里云OSS,华为云OBS等,华为FusionStorage(S3),XSKYEOS等高可用性,99.999999999%的持久性无缝集成Spark、Greenplum等框架高安全性,支持多租户数据隔离高吞吐性能,支持大文件分片并行传输支持存储分级（realtime、nearline、coldline）最低成本

最低成本

AzureDataLakeStorageGen1toGen22018年6月,Gen2基于Azure对象存储BlobStorage重新构建

ArcGIS对云存储的全产品线支持（云原生特性）ArcGISOnline早在10年之前基于AWS构建全球首个面向GIS的SaaS平台时,就已经开始面向云环境架构新一代软件,同时针对云存储对部分空间数据格式进行了重新定义与优化,如MRF、CRF等

元数据（编目与管理）数据资源名称数据资源业务描述数据资源字段信息关联数据资源空间元数据标准

数据全生命周期维护存储管理处理分析可视化

无服务器（Serverless）架构支持

Lambda架构支持支持同时处理历史数据和实时更新数据BathModeNear-real-timeprocessing

多云环境（multicloud）能力支持8年云GIS技术研发5年云GIS产品化80+云GIS项目实施20+IaaS集成

Demo:遥感影像在线查询分析

可扩展对接其它第三方模型算法

Demo:遥感影像深度学习一体化

支持星球级数据规模的架构实现数十PB级多来源多时间范围的海量数据的在线统一存储管理处理分析与可视化

AI项目实施基本要素数据资源算法模型计算能力专业知识

基于本地私有云存储环境的构建数百TB级遥感影像数据的统一存储管理,明显的性价比优势

在本地私有云存储环境之上集成深度学习框架

其它数据湖典型应用场景某国地调局积累了数十年的地质勘探积记录,出于成本和容量的考虑,必须将数据归档,且还需要能够直接对数据进行历史审计对比和统计分析。多年累积的车辆行驶数据可达EB级,必须要求极低成本且长期的数据存储以便于数据分析挖掘,如通过这些历史数据明细查询,可实现驾驶行为分析以及运输路线回放。

企业数据现状没有科学合理的存储选型,基础设施条件与建设思路滞后业务数据通过ETL被重新定义或清洗到数据仓库老旧的数据被存储到磁带库等离线环境,很难被实时检索到查询分析过程通常效率很低每个部门独自构建自己的大数据分析环境,极少共享……

数据湖建设是企业数字转型的核心提升客户体验降低成本增加营收形成对竞争者的优势改变商业模式……

谢谢聆听！