大数据应用 系统监控与日志分析汇总.ppt

大数据应用 - 系统监控与日志分 析 11/26/2018 目录 ? 网易有道简介 ? 在线服务监控 ? 离线日志分析 11/26/2018 有道的发起者是一群执着于搜索技 术的年轻人，我们发现中文网络中 的搜索还远未达到理想，所以希望 通过我们现在和将来的努力，把设 想中的服务一点点变成现实，分享 给大家使用，让你 更快一秒 找到想 要的好东西。 关于有道 11/26/2018 有道产品 ? 搜索类 博客搜索 地图搜索 视频搜索 购物搜索 网页搜索 图片搜索 有道热闻 音乐搜索 11/26/2018 有道产品 ? 翻译类 ? 其他产品 有道翻译 海量词典 桌面词典 有道阅读 有道快贴 有道影讯 手机服务 11/26/2018 在线监控与离线分析 11/26/2018 设计原则 ? 不影响正常服务 – 水表不能把水堵了 ? 通用性 – 如果不够通用 … 11/26/2018 11/26/2018 目录 ? 有道产品简介 ? 在线服务监控 ? 离线日志分析 11/26/2018 在线服务监控 ? 访问控制系统 ? 性能监控系统 ? 异常报警系统 11/26/2018 访问控制系统 ? 主要目的：防止非用户抓取 – 冲击系统服务 – 影响访问统计 – 非法使用数据 ? 挑战 – 灵活的控制规则 – 减小对产品服务的影响 11/26/2018 访问控制规则 ? 过滤规则 – Key: Header 字段， parameter – Key: 正则表达式 – 例子： ? Ip=123\.45\ ..*, agent=“firefox.*” ? 频度控制 – 统计时间（ span ） – 次数的阈值（ threshold ） – 例子： ? span:3600000 threshold:1000 11/26/2018 访问控制系统 ? 总体结构 – 旁路统计 – 规则封禁 ? 访问控制服务器 – 维护规则库 – 按规则进行统计 – 为产品生成封禁列表 ? 产品服务端 – 转发请求 – 同步封禁列表 – 实施访问控制 11/26/2018 访问控制系统 Request Collector Web UDP Controller Sender Rule Sets Product Bans Request Filter Synchronizer TCP Request Sender Product Bans Request Filter Synchronizer UDP TCP Ban Repository USER USER 11/26/2018 性能监控系统 ? 功能：实时统计服务中的性能参数 – 如处理时间、吞吐率等 ? 特点 – 通用性 – 集中的数据分析与存储 – 直观的展现方式 11/26/2018 性能监控的需求 ? 通用性 – 各种产品不同的需求 – 自定的统计量 – 不同的编程语言 ? 性能要求 – 减小对产品服务的影响 – 大数据量的分析与存储 11/26/2018 监控系统的设计 ? 松耦合 – 通过日志文件交换数据 – 文本格式 ? 自定义统计量 – 产品名 , 变量名 , 取值 的三元组 ? 大数据量 – 多分辨率压缩存储 11/26/2018 监控系统结构图 Service LOG Collector Receiver Web UI UDP UDP Analyzer Sender Service LOG Collector Sender Multi-Resolution 11/26/2018 11/26/2018 11/26/2018 异常报警系统 ? 功能 – 自动筛查日志中的 Exception – 发现问题自动发信报警 ? 优点 – 通用性强 – 使用简单 11/26/2018 目录 ? 有道产品简介 ? 在线服务监控 ? 离线日志分析 11/26/2018 离线日志统计 ? 主要的目的 – 用户使用习惯 – 用户对产品的好感度 – 系统运行状态 – 市场推广情况 11/26/2018 日志收集 ? 集中的日志服务器 – 产品的服务器是分布式的，需要统一分析 – 所有产品公用，降低运营复杂度 ? 大数据量存储 – 服务器建立本地缓存