多快好省 空间大数据存储与分布式计算Spark扩展包.pdfVIP

空间大数据存储与分布式计算 Spark扩展包 基础研发中心 卢浩 P1 可视化开源项目中的地理空间 P2 P3 空间大数据存储 • SDX+ for PostgreSQL OpenStreetMap 单图层亿级对象 500GB矢量数据 P4 空间大数据存储 • SDX+ for MongoDB 支持矢量 + 缓存瓦片 （多时态） 中国全境100亿张瓦片 数据体积大于700GB 100并发，平均响应时间低于1秒 P5 空间大数据存储 • SDX+ for Elasticsearch 10亿规模轨迹数据 实时生成热度图 实时生成聚合图 P6 船舶轨迹数据存储与聚合查询 P7 船舶轨迹数据存储与聚合查询 （局部放大） P8 基于航班轨迹的热力图 （动态表达） P9 Elasticsearch 使用建议 适合分布式存储高流速位置点数据 使用批量方式进行数据添加 （10K/S） 高效的ID查询，范围查询 高效的格网聚合，统计值聚合 P10 空间大数据存储 • SDX+ for HDFS 1.读写文本数据 CSV JSON 支持文件目录 P11 空间大数据存储 • SDX+ for HDFS 2.读写RDD缓存数据 支持索引 支持多节点并行读写 P12 HDFS 使用建议 推荐使用目录方式进行文本读取写入 两个大规模图层计算，推荐构建索引 推荐存储节点和计算节点同时部署 P13 空间大数据存储 • SDX+ for OSS P14