腾讯内部云架构设计介绍.doc

腾讯内部云架构设计介绍 曾经存在的问题 速度慢 开发效率低 不稳定 监控不完善 部署混乱 内部云建设的目的 提升研发水平 提升运维水平 提升服务水平 节省设备成本 内部云建设的依据 依据互联网业务特性打造内部云 海量 稳定 快 云模式划分 SaaS PaaS IaaS 内部云层次划分 接入层 ? 业务请求接入，后端分发 逻辑层 ? 业务逻辑实现 存储层 ? 数据持久化 内部云建设方式 TEG主攻公共特性更突出的接入和存储两部分，业务BG主攻情况复杂各具特 色的业务逻辑层 腾讯内部云 MIG内部云 SNG内部云 IEG内部云 云网关平台 … TAF SPP 游戏云 云存储平台 接入层 接入层 业务接入问题 业务接入通常会遭遇下面三个问题： 多网接入 易被攻击 外网ip紧张 云网关TGW 电信用户 联通用户 接入服务器 …. TGW 移动用户 IPV6用户 云网关TGW TGW是腾讯自建的网关系统，具有如下特点： ? 多网统一接入 ? 节省外网IP ? 外网安全隔离 ? 负载均衡 ? 业务后台自动容灾 TGW整体解决方案 TGW为业务量身定做4种方案，使公司所有业务都能够接入TGW。四种方案 分别为：七层B/S方案， 七层C/S方案，四层TGW方案，四层windows方 案。 第三方 私有协议 Web应用 Flash应用 七层 1. TGW7 B/S 四层 3. TGW4 大流量业务 4. TGW4- 互娱自研游戏 2. TGW7 windows C/S 互始代理游戏 Windows业务 其它 TGW整体解决方 案 TGW SET模型 LD数 最大容量 最大包量 TGW7-1G 4 2G 300w TGW7-10G 4 10G 300w TGW4-10G 4 16G 500w 云网关TGW 容灾 ? 通过集群提供服务，4台服务器 为一个集群 ? 双机架，双交换机备份 ? 强大的抗DDoS攻击能力。 监控 ? TGW死机探测 ? TGW流量，连接数等异常监控 ? 业务流量，质量，server死机探 测等监控 存储层 存储层 云存储 依靠这三个云存储平台， 解决业务的cache、db 和文件存储 CDB CMEM CFS 云存储之CDB 业务后台系统 ? “三高”的数据库系统 CDB TGW，跨机架容灾 ? 高通用：无需业务改代码 – 使用mysql的业务换一下IP/Port 即可 DBMS Master 同步 DBMS Slave ? 高可用：三种切换模式 SCSI盘驱动 ? 高性能：4倍于A5 TSSD集群 分散写、异步写、合并写 随机读能力强 大幅减少擦除 云存储之CMEM ? “三高”的Key-Value Cache系统 ? 高通用：无需业务改代码 – 兼容memcache协议、TTC协议、redis协议等 ? 高性能：内核级优化 ? 高性价比：冷热数据动态调度到不同存储介质 云存储之CFS ? “四高”的分布式文件存储系统 业务后台系统 ? 高通用：无需业务改代码 – 像访问本地文件系统一样 CFS ? 高并发：后台是TFS集群 ? 高附加：数据共享 ? 业务层高可用：业务设备死机可以 直接拿新机器顶替，不涉及数据恢 复/迁移 逻辑层 逻辑层 逻辑层要解决的问题 开发效率 网络通讯 容错容灾 监控告警 发布部署 协议 性能 安全 逻辑层现状 ? 逻辑层的框架各Bg自建为主 ? 业务需求不同 ? 历史包袱 ? 主流的后台开发框架 ? TAF、SPP、MCP++、Sr vFramework … MIG逻辑层建设背景 模块众多(上千个服务) 服务模型和协议多样化 部署管理凌乱 背景 配置管理弱 监控不够立体化 面向两种语言( c++/java) … ?容错机制 ? 部署与发布 ? 服务(tcp/udp,select/epoll) ? 协议(字符串,二进制,xml) ? 远程调用(同步,异步) ? … ? 流量监控,异常监控 ? 集中日志,配置管理 ? 服务管理 ? 消息染色机制 ? 调用链及调用时序分析 运营 开发 产品 测试 开发响应时间更快 产品更加稳定/可靠 业务之间交叉更加容易 ? 接口级别测试 ? 集成测试 分层设计，让平台解决大部分问题，并根据运营不断完善！ TAF结构 透明部署 自动发布 集中配置/LOG 调用链分析 运营 管理 容错 负载均衡 灰度 平台 RPC(同步/异步/单项) 高性能 过载 通信框架 提供给框架以及业务使用 公共库 多平台 二进制可扩展 自动生成 统一协议(JCE) 让开发更关注业务，让运营更简单！ 主控节点（热备） 运维管理平台 Registry1 Registry2 RegistryN Web 异常信息 Notify Node1 53 指标统计 Server1 Server2 Serve