51.COM运营监控及数据统计.pptVIP

前世-监控统计系统的背景 庞总问: 我们的PV有多少? 一天后, 三天后, 三十天后: 一封来至Google的邮件. 我们自己开发. 业务监控系统 -意外的收获 深刻的认识: 业务监控和业务统计实际上是一个铜板的两面. 51.COM 今生-统计系统的现状 实时统计800台WEB服务器每天十几亿次请求 采集分析400多个用户信息 3000多个统计点 3年积累了12T的用户行为数据 和Google分析的不同 关注用户行为 – 可以采集到触发某种业务逻辑的用户信息 数据实时 – 产品人员可以立即看到新上线产品的变化情况 51.COM 部分统计功能展示 51.COM 业务行为统计 用户行为统计 PV统计 产品 分析 核心数据分析 用户成分分析 反作弊分析 页面行为统计 用户分布分析 系统架构 51.COM 监控统计系统架构 51.COM 业务层 数据 中心 异常发现 主数据库 报表 告警 用户分析 监控 数据分析 广域网 监控 战略 数据采集 第三方 数据采集 用户 舆论采集 接入层 监控 服务器 监控 业务 数据采集 业务监控 数据总线 数据总线 数据总线 业务分析 业务支撑 运营支撑系统架构图 客户端 监控 51.COM中子弹结构图 51.COM Q＆Ａ ＴＨＡＮＫ　ＹＯＵ！ 51.com 研发经理 林泰君 彩虹IM 20135 QQ Gtalk atai829525@ MSN atai829525@ 51.COM 大家好, 我是51.com研发经理 林泰君, 非常高兴在这里跟大家分享 Web2.0的运营监控及数据统计. 监控统计系统号称51.com的超级中子弹. 公司COO王董,王兴华先生几乎每天都登入系统查看数据, 经常根据数据情况指挥工作,并作出重要决策(这里有一组数据说明王董使用系统的情况,从2007-09-29有登入日志以来到2009-12-21,总共814天, 他登入了2388次, 平均每天登入2.93次), 我们王董形容这个系统是公司的眼睛, 借着这双慧眼让他看清了公司业务的时刻变化情况; CEO庞董, 庞升东对系统也非常熟悉, 他问的数据问题有时候我们陈总都答不上来(呵呵); 财务部总监jessy更是每月都要从系统中提取数据以供财务审计使用; 公司每当有客人来访, 都会带到监控中心去参观; 陈总每天看一眼系统中的运营报告就知道过去的一天里网站都发生了什么事情, 要是没什么大问题就开始看书看文章--他非常爱学习, 然后跟我们这帮兄弟聊技术,聊人生, 瞧我们的运营总监当的多舒服. 你们猜猜我们陈总要是自己开公司, 除了产品和开发, 第一件要抓的事情是什么?(等待听众反馈) 我们陈总经常说如果自己开公司, 第一件要抓的事情就是给网站装上这双慧眼, 部署这个超级中子弹. 大家可能会很好奇, 是什么样一个系统会让我们的陈总如此省心,觉得如此重要? 是什么样的系统出来的数据能用作财务审计? 是什么样的一个系统能得到公司决策层的这般重视? 待我慢慢道来 * 这是今天演讲的大纲. 第一部分讲 web2.0 给运营监控带来的挑战. 第二部分讲 51如何应对web2.0的挑战 第三部分分享 应对监控挑战的案例 第四部分讲 数据统计在51是怎么做的 第五部分介绍 监控统计系统的架构 大家可能会奇怪, 数据统计和运营监控有什么关系? 别急慢慢听我说. * 如果用三个形容词描述 大型WEB2.0网站的运营现状, 那应该是这上面这三个: 巨大, 复杂, 众多 什么巨大? 用户与网站的交互巨大 – 每日请求量数以亿计 用户产生内容巨大 – T级~P级用户数据, 51每天有大量的用户照片,日记上传, 线上运行的代码量巨大 – 估计有上百万行代码在线上运行 什么复杂? 业务逻辑复杂 – 比如登入验证,支付逻辑都很复 网站架构复杂 – N层架构, 又是cache层, web层, 又是中间层, 数据库层, 架构异常复杂 网络环境复杂 – 电信,网通,移动,N个运营商 什么众多? 网站功能众多 – 数以千计的功能点 机房众多 – 51有十几个机房,几千台服务器 用户交互大 -- 每日请求量以亿计 用户产生的内容多 -- T级~P级 网站功能多，业务逻辑复杂 -- 几千个功能点 网站架构复杂，线上运行代码量大 -- N层架构 几千台服务器, 机房众多 -- 网络环境复杂,电信,联通,铁通… *