PPTV系统平台建设实践.pptx

PPTV系统平台建设实践 2014-11-10 演讲人：陈文春 自我介绍—陈文春 1998-2002 中国　 复旦大学（FuDan Univ） 理学学士(B.S） 2011-now PPTV 技术产品部-系统平台部 2007-2011 eBay 中国运营中心（COC） 2004-2007 EbaoTech 全球第一大保险IT解决方案提供商 2002-2004 金仕达卫宁 国内最大医疗IT系统提供商 PPTV的生产环境规模 ?TB 视频CDN带宽 100GB 网页CDN带宽 ~ 10k 服务器 400台 网络设备 200个 CDN节点 ~10 个 核心IDC节点 60次/周 自动化上线 10K 计算云CPU core 150万个 监控点 40万个 告警点 10GB 核心机房带宽 4k 计算云节点 20亿次/天 单个服务池访问量 421个 核心IDC服务池 10TB 分布式缓存服务 10PB 分布式存储服务 Virtualization Servers、IDC servers（ CloudStack、Zabbix、Puppet、ControlTier、LVS、Racktable） 业界领先的运维系统平台：标准化，自动化，平台化，服务化 底层运维 产品技术体系 挑战与特点 大中型互联网系统的特点： 高并发，高流量 高可用 海量数据 用户分布广泛，网络情况复杂 需求快速变更、发布频繁 快速扩张 业务调用复杂，容易产生级联风暴 目标 可伸缩性(Scalability) 弹性伸缩 可用性(Availability) 服务拆分 多数据中心、灾备机房 Canary预警 敏捷性(Agility) 持续部署 自助服务和管理 基础组件服务化(应用开发关注应用逻辑实现，底层组件服务化、组件化) 效率(Efficiency) 资源池 容量规划替代容量预测、 可监控性 自动监控注册 健康告警 路线 硬件资源 系统 应用程序 技术栈 配置管理 应用部署 监控告警 资产管理 基础服务平台 技术解决方案 服务资源池 快速响应、按需分配 容量规划 数据化 web服务技术架构抽象 IaaSPaaS 计算云(Cloudstack) 分布式缓存服务(Cache As A Service) 存储云(Openstack Swift,GlusterFS,HDFS） 分布式消息队列服务(MQ As A Service) PPKeeper(Zookeeper As A Service) 分布式日志收集服务(Events As A Service ) 总览 IaasPaaS—负载均衡服务 IaasPaaS—负载均衡服务 标准化、批量配置 水平扩容 API调用接口 发布系统 计算节点online\offline 权重 IaasPaaS—Cloudstack计算云 非标准化，质量不可控 流程长，路径依赖多，人力成本高 缺乏弹性 IaasPaaS—Cloudstack计算云 基于CloudStack的部署管道演进 IaasPaaS—Cloudstack计算云 基于CloudStack的部署管道演进 基于CloudStack的部署架构在PPTV IaasPaaS—Cloudstack计算云 Iaas带来益处 自助服务 知识和技能可以通过工具和系统转移替代 解决路径依赖问题、缩短环节 管理自动化 降低手动操作和犯错的机会 减少40%基础服务管理流程 标准化和效率 10倍应用部署效率提升 确保应用部署一致性及质量 敏捷和弹性 弹性化更好地为计划外停机时间做好准备 减少故障发现和恢复时间 基于资源池的容量规划 IaasPaaS—Cloudstack计算云 跨IDC分布式全局缓存服务 数据分区(Consistent Hash) 集群成员维护和失败检测 高可用 弹性容量管理 简化的应用调用和配置 IaasPaaS—缓存服务 IaasPaaS—缓存服务 缓存服务-HASH模式 Redis Instance HAPROXY twemproxy LVS twemproxy Redis Instance Redis Instance Consistent Hash Shard 1 Shard 2 Shard n HASH模式 提供缓存服务，非持久化存储 集群提供自动数据分片 单个Redis实例宕机只影响部分数据 动态扩容 IaasPaaS—缓存服务 缓存服务—HASH+HA模式 Redis Master HAPROXY twemproxy LVS twemproxy Redis Agent Redis Slave Redis Master Redis Slave Redis Master Redis Slave Consistent Hash Sha