苏宁ES平台化实践之路-Elastic中文社区.PDF

苏宁ES平台化实践之路 苏宁⼤数据平台.搜索平台组韩宝君 2018年6⽉ 关于我们 苏宁云商IT总部 大数据平台研发中心 大数据平台职责： 提供苏宁集团各个业务所需要的大数据 存储和计算能力。 保证平台的稳定、高效运行。 提高平台易用性。 个人职责： Elasticsearch组件负责人 1.ES平台总体介绍 2.ES平台化之路 3.实战经验 苏宁大数据平台总体架构 Elasticsearch平台概况 集群规模 18个集群，195个节点 接入100+个业务，4500+个索引 数据量64+TB 平台功能 独占服务/共享服务：资源利用率和业务隔离的权衡 计量计费：强调成本概念 页面化服务：使用便利性，减少误操作，节约时间 1.ES平台总体介绍 2.ES平台化之路 3.实战经验 为什么做ES平台？ 一年以前的状况： 业务自 己管理 版本不统一， 无专业团队 计算平台需 维护，稳定 兼容多版本 混乱 性、性能无 ES 法保障 资源浪 费：人 力物力 目标：做一个专业的ES平台 两个阶段 人肉部署集群 自动化部署集群 人肉对接业务 申请服务页面化 人肉运维集群 计量计费功能 可用性、性能监控 安全增强 数据探查 纯人肉时代 真正的平台化服务 人肉阶段的对接文档 人肉阶段的对接文档 服务化平台 集群管理：支持多 项目管理：使用ES 监控管理：ES集群 集群，可以查看具体 服务的项目列表，分 的各项监控指标展示 集群信息和节点列表 配给各自系统的秘钥