新浪网动态应用平台介绍研究报告.pptVIP

新浪动态应用平台开发实践 姓名：童剑 部门：研发中心 .平台部 主要负责：系统平台运营和研发 2009年8月23日 目录 平台介绍 平台目的 系统架构 可扩展性 多机房体系 使用的开源软件 服务容量 经验分享 系统架构设计 标准化配置 约束和限制 监控报警 关于性能 容量规划 平台介绍 功能 提供：PHP程序托管服务的虚拟主机环境 提供：数据库、存储、Memcached 等基础服务 提供：代码分发、开发环境、线上调试、后台管理、Cron 配置功能 2.0 版本 2006年 完成 2.0 环境的搭建 2006年 托管项目数量突破 100 个，每日程序请求突破 3 亿次 2006年 实时访问统计系统开发，实现恶意访问控制机制 2007年 子系统或代码被其它业务使用：代码分发、数据库集群、软件包仓库 2008年 基于数据库集群系统，发展为独立的数据库服务平台 2008年 基于虚拟化技术经验，开发了虚拟机服务平台，并投入使用 历史 1.0 版本 2004年 由 CTO 李嵩波先生立项，9月份完成 1.0 环境搭建 2005年 资源监控系统开发，实现项目资源的可用性监控和报警 2005年 生产环境部分系统单元开始使用 Xen 虚拟机技术 2006年 基于 MySQL 的数据库集群系统开发完成 平台目的 高可用 + 低成本 + 可扩展 没有单点故障 基于LAMP架构和其它开源软件技术 平台资源被多个业务共享从而提高资产利用率 增加服务器即可提升服务容量并且对应用透明 应用开发和平台开发分离 技术团队专业分工，各自作擅长的事情 开发人员在已有系统平台迅速开发应用，缩短开发周期，提高效率 统一的运行环境 统一标准的系统环境配置，方便开发，方便运维 开发环境发布代码到生产环境即可正常运行 简单映像的体系架构 让开发人员只看到一个Web前端、一个DB、一个存储、一个Cache 底层系统集群技术、节点多机房分布等技术对开发人员透明 系统架构 4/7层交换 4/7层交换 前端App集群 前端Cache集群 数据库集群 存储集群 Memcache集群 实 时 访 问 统 计 监 控 和 报 警 线 上 调 试 测 试 系 统 配 置 管 理 App 后 台 管 理 内部开发环境 源码管理 程序开发 DB 存储 MC 内容和 代码发布 用户 外网 内网 性能和可扩展性 广州机房 负载均衡 MC MC Cache Cache Cache App App App VFS 存储 存储 MySQL R 负载均衡 M S S M W 北京机房 负载均衡 MC MC Cache Cache Cache App App App VFS 存储 存储 MySQL R 负载均衡 M S S M W 专线/VPN VFS 存储 前端App 前端App 前端App 北京机房 M S S MySQL VFS 存储 前端App 前端App 前端App 广州机房 R S S MySQL 代码 发布 多机房分布式体系 存储同步 数据库同步 数据库写 代码分发 专线/VPN 经验分享－系统架构设计 借鉴成功的经验 LiveJournal (Memcached、MogileFS) Yahoo!、Google、Youtube、Facebook 使用成熟的软件 除非别无选择才去自己开发代码 自己开发代码也许容易，但长期维护很不容易 深入了解你所使用的成熟的软件，用好它！ 一定程度的底层封装和隔离 目的：使系统具有可扩展性 简单 = 高效 不要过于追求完美，够用就好！ 循序渐进的开发过程，分阶段达成目标 简单 ( 结构设计 + 实现方法 ) = 高效 ( 开发过程 + 故障排查 ) 简单是指：简单的体系结构、更少的系统单元、更少的处理流程、更少的代码编写 经验分享－标准化配置 标准化配置的好处 使开发环境和生产环境分离 系统环境配置变更后，系统管理员更新资源配置文件即可 运行环境配置 软件包、版本、路径、用户 常用配置文件统一管理：httpd.conf, php.ini, hosts Apache 和 Squid 日志记录每个请求执行时长，MySQL打开慢日志 资源配置 资源包括：数据库账户、存储路径、Memcached、数据目录等 如数据库的IP和端口的资源变量名: SINASRV_DB_HOST SINASRV_DB_PORT 通过 Apache 环境变量取值: $dbPort = $_SERVER[“SINASRV_DB_PORT”] 通过解析配置文件获取: $