下一代数据管理平台（nmp）评测结论与最佳实践.pptxVIP

下一代数据管理平台（NDMP）评测结论与最佳实践 解决方案技术中心 2018年12月2日 内 容 NDMP研发驱动力 1 Data Transaction data Master,Reference Data Web and social data Machine-generated data Text，Image，Video，Audio 驱动力概览 政策驱动：安全可靠，去IOE 业务驱动：系统大集中、云计算、大数据 2013年6月，棱镜门爆发； 2013年11月成立国家安全委员会； 2014年5月，政府采购不允许安装Windows8； 2014年9月，中国银监会发布了39号文； 成本控制：IT 资产回报的最大化 数据多样化：单一技术无法满足 开源、技术组合架构成为解决方案发展热点 数据库技术发展趋势 SQL 数据库系统： 分析及结论 RDBMS用于传统的核心业务交易系统； NoSQL用于处理数据归档、文件存储或者事件日志之类任务，社交网站等； RDBMS的最大优势在于强大的ACID保障能力； NoSQL的最大吸引力源自其向外扩展的便捷性与强大的数据吞吐能力； 将JSON支持能力加入关系型数据库并不会使其转变为NoSQL系统，反过来、将SQL查询机制纳入NoSQL存储体系也绝不会把它变成关系型数据库； NoSQL未来更可能成为SQL系统的一种有效补充而非替代方案； 关系型数据库（ACID事务）与NoSQL（速度与可扩展能力）双方优势加以结合互补。 数据存储技术发展趋势 文件系统： GlusterFS HDFS DAS NAS SAN 分析及结论 传统的数据存储技术仍然在传统数据库领域发挥重要作用； 分布式文件系统在分布式数据库领域、分布式架构中广泛应用； 分布式文件系统减轻了文件服务器的负荷； 分布式文件系统易于文件访问，文件分散的放置在网络中的很多计算机上，增加了文件的可访性； 分布式文件系统基于共享，所以用到的文件都要在系统内进行共享； 由传统的独立存储设备的架构，向多点分布的本地存储集群架构转变。 NDMP蓝图与投入方向 FY14重点研发投入方向：分布式可扩展的关系型数据库集群、分布式可扩展的文件系统。 内 容 NDMP研发驱动力 1 研发成果与结论 2 技术支持能力及典型案例 3 2.1分布式可扩展的关系型数据库 RDBMS Cluster RDBMS Cluster应用场景分析 保持数据的强一致性(事务处理) 控制并发操作、支持事务 ACID特性 SQL语句支持 多表关联、JOIN等复杂查询 满足所有类型的数据的需求 RDBMS优势 需要严格支持ACID的系统 OLTP 结构化数据的OLAP 复杂报表系统 业务查询库 RDBMS适用场景 扩展的便捷性和扩展能力 强大的数据吞吐能力 NoSQL优势 面向文档（Document-Oriented）数据库，如文档格式的存储，日志分析； 键值（Key-Value）数据库，存储用户信息，比如会话、配置文件、参数、购物车等； 图（Graph-Oriented）数据库，关系性强的数据中，推荐引擎等； 列存储（Wide Column Store）数据库，博客平台，业务逻辑简单的OLAP系统 NoSQL适用场景 DAL APP DB Instance 1. 单实例 DAL APP DB Instance 2. 垂直拆分 DB Instance DB Instance Business2 Business1 Business3 开源RDBMS集群架构演进之路1 DAL （Proxy） APP DB Slave 3. 主从架构 DB Master DB Slave Write Read Read DAL（Proxy） APP DB Master 4. 多主架构 DB Master DB Master Read/Write Read/Write Read/Write Replication Agent 局限： 全冗余架构，A、B问题仍然存在 Master单点，面临性能与可用性的问题 数据复制存在延迟，无法保证严格的一致性 局限： 全冗余架构，A、B问题仍然存在 数据实时同步，并发写存在性能问题 开源RDBMS集群架构演进之路2 MySQL Amoeba 架构研发成果 功能及非功能评测结论 以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy； 使用MySQL的 Replication等机制来实现副本同步等功能； 集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定节点上执行； 读写分离 通过从节点进行数据读取，从而减轻主节点数据访问压力，每个从节点数据与主节点相同； 负载均衡 读访问数据可以按照分配到多个从节点上； 高可用 通过在客户端连