基于混搭存储引擎的融合型分布式数据库架构解读.pptx

基于混搭存储引擎的融合型 分布式数据库架构 ——服务型分布式计算和混搭型分布式数 据存储助力大数据时代的数据宝藏挖掘 1 分布式的3W问题 2 3 服务型分布式计算 基于混搭存储引擎的融合型分布式数据库 4 大数据与分布式计算/分布式数据库 （1+1=? ） 经典商业应用场景的困境（一） OLTPOLTP（1+1=?） 业务、数据大集中 简单任务高并发 响应时间敏感 永远的痛：关系型数据库 经典对策 小型机 数据库集群 业务拆分 迫切需求 破除单点故障 提升性能 提升业务和数据规模 ） 灵活的通讯模式 简单任 数据是瓶颈，复杂业务功能瓶颈 务，高并发 的痛 经典对策 （1+1=? ? ? ? ? ? 经典商业应用场景的困境（二） OLTP会话型应用 业务大集中、数据大 集中 会话数据需长期保存 灵活的数据形式 增删改查 强调RASP，响应时间 敏感 关系型数据库是永远 多机处理业务 CDN 多样性数据存储 迫切需求 丰富的会话语义 丰富的数据存储形式 弹性的业务、数据规模 ） 业务大 叠加高并发雪上加霜 集中、数据大 的痛 经典对策 ? ? ? ? ? 并行/（1+1=? 经典商业应用场景的困境（三） OLTP分布式计算、大数据 繁重单任务 集中 切分功能瓶颈、数据处理瓶颈 简单任务，高并发 增删改查 强调RASP，响应时间 敏感 关系型数据库是永远 多机计算 多样性数据的多机存储 Hadoop、Spark、Storm 迫切需求 丰富的分布式语义 大容量并行执行 混杂海量数据的丰富检索分析 语义、性能、伸缩性 困境中的答案 分布式 计算 分布式 存储 ?提升计算节点个数 ?同一类任务由超过一 个CPU完成 ?摩尔定律“回归” 通过scale out解脱单一计算节 点上无法从硬件无限突破的两 大性能瓶颈：CPU和磁盘 ?提升存储节点个数 ?维持单位存储管理成本 高 可 用 高 可 靠 弹 高 性 性 可 能 伸 缩 分布式 分布式的直观分类 个体任务的步骤并行 流水线提升吞吐量 两者并用 如何分配工作？ 领导分配 人人自主分配 只要有备份，就有数据不一致 恐怖的“时间窗口” “时间窗口”发生的各种错误的自动 识别、修复和遗留问题的清理 安排尽可能多的人共同执 行一个任务 路由：谁能干 负载均衡：谁比较闲 再说什么是分布式 分布式不是一种新技术 应用框架，设计模式 衍生的支撑技术 路由、负载均衡、任务调度、并行计算、 资源竞争、线程间/进程间/网络通讯， 衍生的设计需求 RASP 多任务串行?多任务并行 提高请求/任务吞吐量、保持响应时间 单任务串行?单任务并行 降低响应时间 分布式的粒度：子系统，模块（函数、对象） 性能与管理成本的权衡决定粒度 应用把控 理想的分布式应用架构长什么样？ 用工作流的形式来将步骤解耦并分布式 2 3 1 4 理想的分布式应用设计方法论 应用角度主导的“分而治之” 框架 应用 决定如何“分”和“治” 平台 分布式应用 开发态 ? ? ? ? ? 编程范式和API支撑 “分”：保持原状，任何粒度，任 何层次整合 “治”：步骤连接的多样性 最少的知识投资 通用、底层、简单、轻量 ? 杜绝“分布式”设计框架 运行时 ? ? ? ? ? 强大的运行容器，应用透明 “分”：任何粒度，规模无限 “治”：步骤连接任意顺序、 任意整合 多线程/进程/机器透明并发 必杀技：强大的RASP 理想的分布式计算框架/平台该做什么？ “最高深的技术是那些令人无法察觉的技术，这些技术不停地把他们 自己编织进日常生活，直到你无从发现为止” ——Mark Weiser 1 分布式的3W问题 2 3 服务型分布式计算 基于混搭存储引擎的融合型分布式数据库 4 大数据与分布式计算/分布式数据库 服务型分布式计算——分布式遇上SOA 服务 服务化的开发方式 分布式的步骤?服务 任何粒度的封装 服务组装便捷 对内对外服务统一 分布式执行策略 服务虚拟化，计算资源虚拟化 自上而下、自内而外的全SOA 分布式从未如此简单 不改变业务流程和编程模型 单机单用户思路设计分布式应用 服务型分布式计算的核心功能 托翁 法则 数据/通讯协议全透明 Binary、JSON、XML、RAW Binary、HTTP、RTSP/RTP 应用透明，动态修改 C/S一键移动互联网 灵活强大的编程模型 全异步编程模型 灵活的服务、通讯、内存语 义 核心架构 分布式虚拟机 背板+刀片