借我一双慧眼――Web20的运营监控及数据统计.ppt

今生-统计系统的现状 实时统计800台WEB服务器每天十几亿次请求 采集分析400多个用户信息 3000多个统计点 3年积累了12T的用户行为数据 和Google分析的不同 关注用户行为 – 可以采集到触发某种业务逻辑的用户信息 数据实时 – 产品人员可以立即看到新上线产品的变化情况 51.COM 第二十七页，共三十四页。 部分统计功能展示 51.COM 业务行为统计 用户行为统计 PV统计 产品 分析 核心数据分析 用户成分分析 反作弊分析 页面行为统计 用户分布分析 第二十八页，共三十四页。 系统架构 51.COM 第二十九页，共三十四页。 监控统计系统架构 51.COM 业务层 数据 中心 异常发现 主数据库 报表 告警 用户分析 第三十页，共三十四页。 监控 数据分析 广域网 监控 战略 数据采集 第三方 数据采集 用户 舆论采集 接入层 监控 服务器 监控 业务 数据采集 业务监控 数据总线 数据总线 数据总线 业务分析 业务支撑 运营支撑系统架构图 客户端 监控 51.COM中子弹结构图 51.COM 第三十一页，共三十四页。 Q＆Ａ 第三十二页，共三十四页。 ＴＨＡＮＫ　ＹＯＵ！ 51.com 研发经理 林泰君 彩虹IM 20135 QQ Gtalk MSN 51.COM 第三十三页，共三十四页。 51.COM 51.COM 51.COM 51.COM 51.COM 借我一双慧眼Web2.0的运营监控及数据统计 51.COM 研发经理 2009.12.26 第一页，共三十四页。 WEB2.0的挑战 51应对挑战 案例分享 51数据统计 系统架构 51.COM 第二页，共三十四页。 WEB2.0的挑战 51.COM 第三页，共三十四页。 大型WEB2.0网站的运营现状 复杂 巨大 众多 51.COM 用户产生内容 用户与网站的交互 线上运行的代码量 业务逻辑 网站架构网络环境 机房 网站功能 第四页，共三十四页。 运营监控的巨大挑战 如何 监控 数以千计的功能 在巨大的用户交互背景下, 在复杂的网络环境中, 在众多的机房里 是可靠可用的? 监控什么? 怎么监控? 51.COM 业务层 网络层 第五页，共三十四页。 目前的监控方式 广域网络监控 商业产品 内部网络监控 Cacti 服务器监控 Nagios Ganglia 51.COM 第六页，共三十四页。 已有监控方式的优点及不足 优点 广域网监控能发现定位广域网层面的一些问题 Cacti 能很快发现内部网络问题. Nagios, Ganglia能很快发现并定位服务器层面的问题 不足 广域网监控: 监控点少, 有时不准确 价格昂贵 无法 发现 定位 业务层 问题 51.COM 第七页，共三十四页。 51应对挑战 51.COM 第八页，共三十四页。 应对方法 - 缺啥补啥 广域网监控 业务层监控 51.COM 第九页，共三十四页。 广域网监控 做法: 在网站页面上嵌入脚本, 测试用户端抓取不同服务器上的图片的速度, 将数据汇总, 根据不同的测速曲线及历史曲线判定广域网事件 功效: 发现广域网异常, 并定位出异常是发生在用户端,广域网,还是企业机房 特点: 成本低廉, 准确度高 51.COM 第十页，共三十四页。 业务层监控 做法: 通过嵌入在业务逻辑代码中的数据采集程序, 汇聚业务数据到数据中心, 异常发现系统抓取数据中心的数据进行曲线模式匹配, 发现异常,上报数据到告警服务器, 监控中心收到告警, 并做检查,最终确定是否有事故发生. 功效 能发现大量以往不能发现的问题 用户不再是测试员, 是真正的上帝! 特点 能快速发现业务层异常,并准确定位异常点 51.COM 第十一页，共三十四页。 51.com慧眼 10000多个广域网络采集点 5000多个业务监控点,涵盖51.com的所有重要功能 可定制上报时间的自动监控 监控点可任意添加, 甚至监控网页Flash,Js 可定位到异常发生在哪个频道,服务器,页面,程序段,甚至是哪行代码. 51.COM 第十二页，共三十四页。 案例分享 51.COM 第十三页，共三十四页。 故事: 一个阳光明媚的早上 半仙,焦工,黄大侠,薄海在踢皮球 陈总是火警 …… 一个阳光明媚