大数据应用--系统监控与日志分析35.pptxVIP

大数据应用-系统监控与日志分析目录网易有道简介在线服务监控离线日志分析关于有道有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒找到想要的好东西。 有道产品搜索类有道产品翻译类其他产品在线监控与离线分析设计原则不影响正常服务水表不能把水堵了通用性如果不够通用…目录有道产品简介在线服务监控离线日志分析在线服务监控访问控制系统性能监控系统异常报警系统访问控制系统主要目的：防止非用户抓取冲击系统服务影响访问统计非法使用数据挑战灵活的控制规则减小对产品服务的影响访问控制规则过滤规则Key: Header字段，parameterKey: 正则表达式例子：Ip=123\.45\..*, agent=“firefox.*”频度控制统计时间（span）次数的阈值（threshold）例子：span:3600000 threshold:1000访问控制系统总体结构旁路统计规则封禁访问控制服务器维护规则库按规则进行统计为产品生成封禁列表产品服务端转发请求同步封禁列表实施访问控制访问控制系统性能监控系统功能：实时统计服务中的性能参数如处理时间、吞吐率等特点通用性集中的数据分析与存储直观的展现方式性能监控的需求通用性各种产品不同的需求自定的统计量不同的编程语言性能要求减小对产品服务的影响大数据量的分析与存储监控系统的设计松耦合通过日志文件交换数据文本格式自定义统计量产品名, 变量名, 取值的三元组大数据量多分辨率压缩存储监控系统结构图异常报警系统功能自动筛查日志中的Exception发现问题自动发信报警优点通用性强使用简单目录有道产品简介在线服务监控离线日志分析离线日志统计主要的目的用户使用习惯用户对产品的好感度系统运行状态市场推广情况日志收集集中的日志服务器产品的服务器是分布式的，需要统一分析所有产品公用，降低运营复杂度大数据量存储服务器建立本地缓存最终保存在分布式文件系统中压缩存储防止日志丢失支持备份服务器分布式文件系统保证可靠性日志收集系统日志分析主要的挑战超大数据量运算时间的要求组合统计解决方法分布式计算分布式分析程序常规统计访问量时间地域用户新用户：推广与传播的效果老用户：真正使用这个产品功能切换页面切换产品切换一些有意思的统计规律周末与非周末什么时候流量更大？周末与非周末工具（网页搜索、海量词典）vs 娱乐（视频搜索、音乐搜索）平时需要工具，周末需要娱乐一些有意思的统计规律不同的时段访问有区别吗？搜索和吃饭的关系？工具 vs 娱乐白天需要工具，晚上需要放松公网 vs 教育网白领和中小学生要早睡，大学生都是夜猫子更多的分析《有道阅读的12个有趣的发现》订阅博客范围，新老各有地盘职业和阅读习惯阅读真的变成快餐了明星博客，各领风骚三两天 大部分人订阅不过10个，阅读不超20分钟阅读还是很个人…总结在线服务监控保证服务正常运行离线日志分析了解用户，改进产品