录信数软+郑其华+-基于lucene实现万亿级多维检索与实时分析.pdfVIP

基于Lucene实现万亿级 多维检索与实时分析 南京录信数软 郑其华 个人简介 录信数软 技术总监 郑其华 • 10年以上软件开发经验 • 参与富士通CMGR、华为RTOS等项目开发 • 富士通中间件Lifecycle Management 和 Job Management 认证专家 • SACC2020 架构师大会受邀演讲嘉宾 目录 01 02 03 背景介绍 万亿规模的挑战和优 应用场景 化 存储挑战 大数据浪潮的来临 行业及场景 查询性能 多维统计 分布式计算 01 背景介绍 大数据时代 据IDC发布 《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB 增长到175ZB，2025年全球每天产生的数据量将达到491EB。 日益增长的数据规模和落后的处理能力之间的矛盾！ Lambda架构 LSQL架构 02 万亿规模的挑战与优化 挑战一：万亿数据存储 存储成本 数据安全性 读写不均衡 •万亿规模怎么存 •数据误删无法恢复 •数据写入时，有的磁 •使用SSD还是SATA •数据迁移、扩容麻烦 盘忙，有的磁盘空闲 •磁盘型号是否一致 •磁盘损坏，数据丢失 •个别磁盘变慢，导致 所有查询都卡在该盘 •磁盘数量多导致维护 的IO上 成本上升 方案：基于HDFS的索引 •降低存储成本 ü 集群规模：支持成千上万节点，可存储海量数据 ü 异构存储：内存、SSD、SATA等综合使用，资源最优化 •解决读写不均衡问题 ü 磁盘容错：如果某些磁盘突然坏掉、或者速度变慢，自动切换到速度较快的 副本上读取 ü 自动均衡：自动balance，统一的命名空间，操作简单 •解决数据安全性问题 ü 数据快照：支持快照功能，1PB数据2秒钟创建快照，避免误删除操作 ü 冗余副本：降低磁盘损坏带来的影响 ü 快速分裂：专利技术，1P数据，10秒内分裂完毕 优化：列簇+异构存储 列簇存储 异构策略 列簇存储示意图 数 数 数 数 数 数 据 据 据 据 据 据 近一月数据 SSD固态硬盘 列 列 列 列 列 列