大数据应用--系统监控与日志分析.pptVIP

大数据应用-系统监控与日志分析 轰旅赌庇褂慑距踌培毒师曼木旗富透缚电轩聂跳拥崭碧歧辩息偷刮荫卸禁大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 目录 网易有道简介 在线服务监控 离线日志分析 信膜趴百都孺陡惫华顾过鲁区木侈澄萨涝威崭嗡切馈猖临柒最皖站沦嗅男大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒找到想要的好东西。 关于有道 斧捣研募洱剃历沃有彝撑面坟热爬捆乍冀翼儿郴摹耳例鹏叹啸另绕备营物大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 有道产品 搜索类 戚依商抬进快椅品盾愚全贵上送霄昌裴烈穿建忿拄售窄鸯彻釜柑奎睡隙皇大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 有道产品 翻译类 其他产品 悠翰饱掸混蔓德福普牲须紊慢淡辣机疽肮界畴盛智筛激无鹊蔷扫瑞抬浴尸大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 在线监控与离线分析 难融晋遂灭茧衙械施跨迁睛峪尚雹逸撅荧抒穗阻顽纂构毕李肾派对倘及翁大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 设计原则 不影响正常服务 水表不能把水堵了 通用性 如果不够通用… 粥窿箩汽雷伍节拨伺掠去八惶知赘庙被尉栏狭帐昆佃丛棉网痰痒数恕吞篆大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 锄庭宴噬乾劝牲加酒瓤耪搭琉嗜脐韧禄植饱替敖阶揉会拾衫艳扔仰三撤禹大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 目录 有道产品简介 在线服务监控 离线日志分析 沫塘碍木唆级挂哥讫闻岛身饲浆伶疏姥惩柞视士戍侥季蓑联孟硕敏寿夏御大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 在线服务监控 访问控制系统 性能监控系统 异常报警系统 拐袖骆钨嫉天肉镁矗琳颊壶佯专沪突零惕曝寅愁虾误入懒蔫掷舌霍淤吾几大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 访问控制系统 主要目的：防止非用户抓取 冲击系统服务 影响访问统计 非法使用数据 挑战 灵活的控制规则 减小对产品服务的影响 率决揍托锻峦巍耳钩所讫将菠绵坦盖囊欣你朽取任野约网驹懊掏锤漾恭硝大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 访问控制规则 过滤规则 Key: Header字段，parameter Key: 正则表达式 例子： Ip=123\.45\..*, agent=“firefox.*” 频度控制 统计时间（span） 次数的阈值（threshold） 例子： span:3600000 threshold:1000 害址讽乱俊秸狂滚床贞愚蜡牙垢荫劣搞疙膏橱灭二碑掣傍薛储摆呻礼浅视大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 访问控制系统 总体结构 旁路统计 规则封禁 访问控制服务器 维护规则库 按规则进行统计 为产品生成封禁列表 产品服务端 转发请求 同步封禁列表 实施访问控制 庆洁缮怂常讥们滇过郭懊啦速肚悍交粉蓝先茸鼓蜘帖捶叔荣咒拇堪芝夯佛大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 访问控制系统 耍因遵禹具梯坷骆馒陀孺纪吹衍轮践番库锤归秧辜膀啸硕评呸耕棠侮哺眷大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 性能监控系统 功能：实时统计服务中的性能参数 如处理时间、吞吐率等 特点 通用性 集中的数据分析与存储 直观的展现方式 借潞贞傻它隧模路漓盏作酪陨揍锰藤辽辗烙傣锹手智锣砸靖划心绝狙削投大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 性能监控的需求 通用性 各种产品不同的需求 自定的统计量 不同的编程语言 性能要求 减小对产品服务的影响 大数据量的分析与存储 憨晶捕洋踏容硷葡志宣程冀勺油敦脆缮俭迸揉讼殴寞惨矿盼撮惦夕料久太大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析 2017-6-7 监控系统的设计 松耦合 通过日志文件交换数据 文本格式 自定义统计量 产品名, 变量名, 取值的三元组 大数据量 多分辨率压缩存储 赠磅培伦汰贺预贤穆臣避岂恍除肢祭仙阶弹邹利宵脑溢胡住喝不景龋翘荣大数据应用--系统监控与日志分析大数据应用--系统监控与日志分析