当GIS遇上大数据.pptx

当GIS遇上大数据最近被云计算搞得云里雾里别啊，大数据又来了！大数据汹涌而至大数据特征…(真的很多V，这四个最重要)对挖掘性能要求高贫矿?挖掘难度大体量大Volume价值密度低对挖掘工具要求高Value变化快种类多VelocityVariety大数据挖掘涉及大量高新技术分布式文件系统大规模并行处理数据库（ MPP ）分布式数据库可扩展存储系统云计算平台挖掘大数据不是件容易的事！跟GIS有什么关系？80%的大数据与空间位置相关空间大数据 or 时空大数据?无论是否关注时间属性，只要带位置，就是我们处理对象!地理信息领域早就在处理大数据航天航空遥感数据街景数据倾斜摄影原始数据我们是否可以说GIS已经在管理大数据了呢？不能！以上大数据的共同点换句话说…对这些大数据的处理，没GIS软件什么事！上述案例GIS做了什么?用专业软件处理，用GIS可视化！GIS该做的不仅限于这些！非测绘活动产生更多空间大数据例：Uber用空间大数据分析“一夜情”1)晚上10点至凌晨4点打车，2)4~6小时后160米内再次打车，都极有可能经历“光荣之旅”旧金山“光荣之旅”分布图越来越多空间大数据导航终端轨迹移动社交网络数据手机信令数据可穿戴终端数据城市摄像头数据出个图，有啥了不起？挖掘空间大数据不是件容易的事空间大数据是金矿，但却是贫矿，挖掘技术复杂是少数机构的盛宴!若GIS平台能解决这些问题，将让更多单位能挖掘空间大数据空间大数据价值挖掘大数据GIS平台模型数据价值空间大数据，对GIS提出了新的需求1)大数据GIS平台总体架构超图大数据产品架构SuperMap iDesktop CrossSuperMap iServer(GIS应用服务器)Plugin-DataManagerStreaming ServiceGIS桌面与应用服务器Plugin-AnalystProcessing ServicePlugin-WorkflowDataflow ServicePlugin-SparkiObjects for Spark (空间大数据组件)DataAnalystStreamingMappingGIS组件GIScript for Python\RSuperMap iObjects JavaSuperMap SDX for Big Data数据引擎数据存储MongoDBPostgreSQL 集群星环数据库HDFS为什么选Spark 而非 Hadoop？Hadoop≈大数据1.0Spark ≈大数据2.0Spark相对于 Hadoop的优势SuperMap iObjects 直接嵌入Spark框架运行SuperMap iObjects for Spark通用大数据计算框架Spark SQLSpark DataFrameRDDRDD派生类及接口实现SQL ConsolePythonShellRShellScala ShellAnalystMappingStreamingDataTaskmanager, Scheduler空间大数据引擎服务接口与界面REST API JSON大数据存储系统HDFSMongoDB…FilesTaskflowDsignerJupyterNotebook2)空间大数据存储基于HDFS的空间数据管理(存储)基于HDFS的空间数据管理(索引)（HDFS文件列表）3)空间大数据分析计算SuperMap iObjects for Spark 大数据计算基础计算空间查询高级计算流式计算临近分析聚合分析地理围栏热点分析插值分析地图匹配异构计算缓冲区分析密度分析路况计算R叠加分析空间连接……Python…………SuperMap iObjects for Spark 实时路况计算Apache Spark Streaming实时浮动车数据接入时间窗口数据分组SuperMap iObjects for Spark数据预处理归并匹配结果计算拥堵等级SuperMap iObjects Java加载路网环境匹配轨迹点计算速度SuperMap iObjects for Spark：计算实时路况SuperMap iObjects for Spark：计算实时路况4）空间大数据可视化SuperMap iDesktop Cross：任务提交、结果展现5）大数据基础设施：云大数据需要云计算SuperMap云GIS平台四驾马车PC端移动端组件式GIS开发平台 iObjects Java iObjects .NET iObjects C++移动GIS开发平台 iMobile for iOS iMobile for Android云GIS平台软件 iPortal iServer iExpress iCloudManager桌面GIS平台 iDesktop iDesktop Cross浏览