浅谈伪分布式数据库架构 金官丁.pdfVIP

2010年ITPUB上海站技术沙龙 主 题：浅谈伪分布式数据库架构 分享者：金 官丁 主要内容 何为分布式/伪分布式数据库架构； 分布式/伪分布式数据库架构优缺点； 伪分布式数据库架构的应用场景； 2 类具有通用性伪分布式数据库架构设计思路 适用于电子商务、大型论坛、SNS 网站、即时通信等领域； 适用于SNS 游戏、统计分析等领域； 分布式架构定义 何为分布式数据库架构？ 何为伪分布式数据库架构？ 何为分布式数据库架构 定义 由一组存储在网络中不同服务器上的数据组成，网络中每个节点具有独 立执行局部应用的能力，也可以通过网络通信系统执行全局应用的能力。 何为分布式数据库架构 LDBMS 建立和管理局部数据库，提供场地自治能力，执行局部应用及全局查询的 子查询； GDBMS 提供分布透明性，协调全局事务执行，协调各局部DBMS完成全局应用，保 证数据库全局一致性、执行并发控制、实现更新同步和提供全局恢复等功能； 全局数据字典 存放全局概念模式、分片模式、分布模式的定义以及各模式之间映像的定 义，存放有关用户存取权限的定义，保证全局用户的权限和数据库的安全， 存放数据完整性约束条件定义； 通信管理 实现分布式数据库各场地之间消息和数据传递； 何为分布式数据库架构 架构图 何为伪分布式数据库架构 伪分布式数据库架构= 多个集中式数据库 + 数据库自身复制 + 开发的管理软件 + 其他； 分布式数据库架构优缺点 分布式数据库的特征 1.数据独立性：数据逻辑独立性、物理独立性、分布独立恶性； 2.适当数据的冗余，实现高可用性； 3. 集中和自治相结合的控制结构； 4.全局的一致性、可串行性、可恢复性； 分布式数据库缺点 1.部署复杂，对硬件、网络等环境要求更高； 2.事务、数据查询性能相比较下降； 3. 商业产品费用较贵，开源产品暂时存在瑕疵； 4.技术实现复杂，开发成本高； 伪分布式数据库架构优缺点 伪分布式数据库的优点 1.提供类似分布式数据库的数据存取透明性； 2.解决集中式数据库的扩展局限性； 3.提高数据库服务的性能、可用性、可靠性； 4. 实现技术不难，开发、维护成本可控； 伪分布式数据库缺点 1.不支持分布式事务； 2.数据拆分之后出现数据合并难度与部分功能限制； 3.数据库设计技巧难度加大； 伪分布式数据库架构的应用场景 电子商务平台（C2C、B2B、B2C） SNS 平台； IM即时通信软件； 电子邮件系统； 日志分析系统； SNS 游戏； 其他平台型网站； 应用场景总结： 大数据容量，且垂直升级扩展受限的； 高并发事务型的； 数据更新量远大于数据读取，且数据更新量非常大； 伪分布式数据库架构的基本功能 前端通信协议：MySQL通信协议、JSON协议； 后端通信协议：MySQL通信协议； 存取路由算法控制器：HASH值法、数据库路由表法； 连接池：数据库连接池、应用程序连接池（可选）； 负载均衡：客户端调用API接口； 解析器：SQL解析器、JSON 字符串解析器； 查询结果集合并缓冲区； 序列生成器； JSON 字符串操作合并队列服务； MemCache管理模块； 第三方平台ID转换器； 数据库可用性探测模块； 命令行管理接口； 伪分布式数据库架构__电子商务等领域 伪分布式数据库架构__电子商务等领域 伪分布式数据库架构__SNS游戏等领域 伪分布式数据库架构__SNS游戏等领域 伪分布式数据库的路由规则 第一类通用领域的伪分布式数据库架构的路由规则：HASH值法 例如： 水平拆分：对UID进行HASH运算得到一个值域：0~1023 ，再划分成128份； 垂直拆分：根据数据中间件缓存数据库表名称的数组，判断是否是某垂直 拆分库的对象； 第二类通用领域的伪分布式数据库架构的路由规则：数据库路由表法 序列