云数据库管理系统及在互联网领域的应用讲述.pptx

云数据库管理系统及 在互联网行业的应用 不掌握大数据来源 很难得到真正的实际需求 建设大型试验环境比较困难 不能提供足够的人力资源 高校在大数据时代研究面临的挑战 产学研结合 ? 大目标统一，相互促进 ? 松散耦合，各层关注自身核心利益 ? 人的联系紧密（同一人在各层间完成身份切换） 与大型企业合作 技术成果应用 演示系统 市 场 层 人员支持 应 用 层 技术支持 研 究 层 独立创业 需求提供 资金支持 独立应用系统 环境支持 研究论文 浙大与网易的合作模式 ? 学生学习研究期间即与企业研究团队紧密合作（非传统 横向项目模式），毕业后选择去该企业就职，乃至担任 高级职位 ? 创建网易杭州研究院（浙大与网易两块牌子），目前工 程研发人员已超过1000人，公共基础技术研究人员超过 500人 ? 半数以上的技术高级经理、总监毕业于浙大计算机学院 ? 网易可以提供资金、大数据资源、用户实际需求提供、 开发工程师等的帮助 ? 浙大源源不断提供给网易高水平人才，深厚的前期技术 积累 网易私有云的架构 NDDB 云分布式数据库 RDS单机数据库 IAAS(云网络、云主机、云硬盘) NOS对 象存储 NCR云 Redis服务 云转码 云容器引擎 云队列 NCS 云搜索 基础服务 数据管理 应用架构 NLB负载均衡服务 云数据库对云平台的需求 网络隔离： 默认隔离不同租户的数据库 灵活配置网络连通性, 满足特殊需求 故障隔离： 主备虚拟机不能位于同一个物理机、交换机 主备数据不能落到同一个物理机 性能保障： CPU、IO、网络性能有保障 高可靠：不能容忍数据丢失 弹性： 存储、计算规格的弹性伸缩 平台对数据库的支持 NCR RDS NDDB 云网络 网络隔离 连通性控制 云硬盘 存储能力 高可靠、可用 弹性扩容 存储池 NLB 负载均衡 高可用 云主机 计算能力 弹性扩容 可用域 高可用 数据库 网络隔离 私有网 每个租户拥有一个独立的二层网络 不同用户私有网络完全隔离 机房网 不同租户虚拟机之间的互通 租户虚拟机到机房中物理机的互通 ACL控制连通性 互联网 链接到互联网 （外网） 数据库默认运行于私有网络内， 不同租户完全隔离。 必要时通过机房网络互连 资源物理位置失去控制 风险 硬盘 主从硬盘的数据可能落在同一物 理机或物理硬盘 数据库数据丢失 主机 不同云主机可能位与同一物理机 数据库不可用 联网 不同云主机可能经由同一网卡或 网线联网 数据库不可用 交换机 不用云主机可能接入到同一交换 机 大量高可用数据库发 生不可用 故障隔离风险 做冗余而不隔离故障， 是伪高可用、伪高可靠 可用域a 可用域b 故障隔离： 提供资源位置控制 ? 可用域 ? 控制云物理资源位置， 确保故障隔离的机制 ? 不同可用域确保物理机、 联网和交换机隔离 ? 应用场景：主备隔离 ? 数据库主备从不同可用域 分配 ? Redis主备 ? 云硬盘两副本 存储池a 存储池b 故障隔离： 提供资源位置控制（存储池） ? 存储池 ? 云计算平台提供用 于控制云硬盘物理 资源位置，确保故 障隔离的机制 ? 不同存储池确保物 理机隔离 ? 应用场景：主备隔离 ? 数据库主备两块云 硬盘从不同存储池 分配 ? 云Redis主备两块云 硬盘从不同存储池 分配 高可靠保证：云硬盘 需求：要求云硬盘可靠性大于本地RAID，不要求极高可靠性 因为数据库本身有主从备份 计算性能 容量预留 热迁移 逻辑隔离 ? 虚拟机计算性能随宿主 机总体负载变化可能有 20%左右的差异 ? ? 宿主机总体负载70%以内 虚拟机CPU负载建议不 要超过70% 云计算平台运维保证宿 主机总体负载不超过 70% ? 借助KVM提供的热迁 移机制，可以在几分 钟内将虚拟机无感知 ? 的迁移到另一台宿主 机 监控总体负载超高的 宿主机，热迁移其它 高负载的云主机 ? 网易云主机设计了可 用域功能可以物理隔 离不同类型业务的云 ? 主机 对外业务和内部服务 隔离、线上业务和测 试系统隔离、数据库 与业务隔离 高可用数据库RDS （新型数据库引擎NTSE + 对新型硬件的支持InnoSQL Flash Cache +VSR技术） 面向互联网的关系数据库需求 OLTP，短小事务 事务性要求灵活 读多写少，数据热点明显，往往集中于数据集的 10%以内 数据量大，IO为系统瓶颈，CPU能力通常过剩 产品升级较快，模式变更频繁 现有业内解决方案 使用MYSQL+InnoDB+Memcached(Redi