网易海量数据存储平台的构建和运维.pdfVIP

网易海量数据存储平台的构建和运维 王磊@网易杭研院 wanglei@ 互联网应用的数据存储需求 • 海量存储空间 • 高效的数据访问：高并发、低延迟 • 高可扩展性 • 高可用性：7x24 • 安全性和可靠性 • 功能和接口丰富、简单易用 • 有效应对系统（数据、模式、环境）变更和升级 • 易维护：管理便捷，自动化程度高 • 控制成本 网易海量数据存储平台简介 •设计目标： 为博客、相册、邮箱、网盘、IM等各类大型互联网应 用提供一种通用的用户数据存储和管理解决方案。 •实现方案：分布式数据库+分布式文件系统 –分布式数据库（DDB）：基于关系数据库集群解决结构 化数据的海量存储和高效访问。 –分布式文件系统（DFS）：以文件为存储单位的非结构化 数据分布式存储解决方案。 DDB的功能特点 • 基于Sharding的Scale Out 。 • 多平台和多语言环境下的通用SQL访问接口。 • 支持常用的RDBMS功能： –DDL ：支持大多数语句，union和嵌套查询除外 –DML ：表、视图、存储过程、触发器等 –用户管理和权限控制 –全局ID分配 • 事务支持：节点内、跨节点、跨DDB。 • 支持MySQL和Oracle混合使用。 • 命令行和图形化管理工具。 DDB系统架构 客户机(Client) 数据流 应用程序 控制流 C/Python/ PHP/Java/... 客户机(Client) Java程序 查询服务器(QS) DDB JDBC 管理服务器 DBA QuryServer DBI Master 管理工具 数据库节点(DBN) 数据库节点(DBN) 数据库节点(DBN) MySQL/ MySQL/ MySQL/ Oracle Oracle Oracle DDB Sharding实现原理 表（记录）、均衡字段、桶、DBN 哈希函数 存储映射表 ( 固定) 哈希表 (可调整) SN 1 逻辑ID H DBN1 均衡字段 SN 2 DBN2 负载信息 需要解决的问题 •优化访问性能 •安全性问题 •监控和故障处理 •系统更新和升级 •系统扩容 DDB访问性能优化——系