Elasticsearch加速sparksql查询最新分析和总结.pptx

2021年1月汇报人：Elasticsearch加速sparksql查询设计动机Hive作业迁移?至Spark在360内部，已经基本把各个业务部?门全部的Hive作业迁 移到Spark，每天有?几万的例例?行行报表作业和不不定的SQL分 析任务稳定运?行行在Spark平台上? SQL执?行行效率提升?至少五六倍从实际的迁移过程来看，SQL作业在Spark平台上效率?至 少有五六倍的提升，?大?大提升了了集群的利利?用率设计动机公司内部SQL作业可分为两类：Case 1:数据清洗和?日志统计 Case 2:交互式实时查询设计动机?虽然现在SQL性能有较?大的提升，但是对于业务 部?门来说，没有最快，只有更更快。?特别是对?一些Ad-hoc、OLAP，希望查询结果快 速响应设计动机Case1Case2设计动机?对于case1, Spark + ORC/Parquet?方案可以满?足?生产需求对于case2，现有的Spark + ORC/Parquet会全 表扫描数据。浪费?大量量的CPU和IO，在海?量量数据 的查询中，很难在秒级响应为了了满?足case2的需求，同时保留留原始数据，我 们对数据建?立外部索引，把数据的索引存储在ES 中??查询详解?对数据建索引查询详解?查询查询详解性能分析? 全表扫描过程在Parquet 每个RowGroup中，全表扫描需要 顺序读取数据，然后通过下