distributedlog数据一致性-elastic中文社区.pdf

百度对Elasticsearch的优化 改进 百度大数据部 高攀 2016年12月10日 功能改进 •分布式SQL查询层 •权限管理 •Online schema change •DistributedLog 数据一致性 •多集群数据同步 •多租户资源隔离 分布式SQL查询层 • 提供标准SQL接口，方便使用，降低学习成本 – 支持复合数据类型，如Array 、Map等 – 支持通过SQL全文检索 – 支持Join – 分布式SQL聚合 • 兼容MySQL协议，原MySQL、DDBS业务无缝迁移 – MySQL Client，JDBC ，ODBC … • 兼容原始HTTP协议 – 保留原始HTTP接口 – 支持MySQL发送HTTP请求 – 支持HTTP发送SQL请求 分布式SQL查询层 MySQL Client HTTP Client JDBC,ODBC… HTTP Server MySQL Server Protocol SQL HTTP Protocol ES ES Engine SQL Engine Node Analyzer Index Module Planner Search Module Executor ES Node Lucene 分布式SQL查询层 分布式SQL查询层 权限管理系统 • 需求背景 – 业务方对数据安全性敏感，不同角色只能访问自己的表 – 要求支持读写权限分离，支持动态修改权限，各节点自动同步更新 – 要求支持IP白名单 BNS 白名单，BNS 自动更新 – HTTP、MySQL 两种访问接口都需要进行权限控制 • 设计实现 – 兼容ES 和MySQL，增加database逻辑层，db.table – 权限级别：db ，table – 用户级别：root，superuser ，user – superuser可以创建用户并分配权限但不能修改集群配置，用于用户自己管理 – 权限类型：read_only，read_write – 白名单：IP （通配符），hostname (BNS) 权限管理系统 HTTP Client MySQL Client JDBC,ODBC… HTTP Server ClusterState MySQL Server Protocol MetaData Protocol