云日志分析.PDF

第三届全国高校云计算应用创新大赛 命题赛三 命题赛题目三 云日志分析 选题背景 一个互联网产品背后有许多应用支撑。随着网站知名度的提升及访问量的指 数级增长，每个应用每天产生的日志数量是十分庞大的。如何快速的处理掉每天 产生的日志数据，对日志进行分析、过滤、存储，并在此基础上进行譬如用户行 为分析，问题定位，告警触发等功能的实现是我们亟待解决的问题。 题目概况 需要分析的原始日志分为两种类型: 一种是应用日志(假设日志格式已符合 你预期的日志格式)，另一类为web 日志，比如Apache 或Nginx 日志。日志格式 配置为： $remote_addr - - [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent - $host 比如: 1 - - [07/Dec/2015:17:01:25 +0800] GET /prod/detail/H43u53 HTTP/1.1 304 0 - Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; BIDUBrowser 7.6) - 首先需要从不同的应用 web server(Apache,Nginx 等)进行日志采集、转换、 分类、过滤等操作，再对不同分类的日志进行不同的处理。处理结果需要进行页 面展示及可能的告警通知。最后，经过上述处理的各类日志信息数量也十分巨大， 需要对每天的日志进行存储，便于对处理后的日志进行归档及历史数据分析。 同时，本题目侧重于鼓励参赛团队进行创新，在已有需求的基础上提出新颖、 实用、有应用价值的需求，并且完成开发工作。 需求描述 需求1：日志在线采集和初步处理 第三届全国高校云计算应用创新大赛 命题赛三 目标：不同的日志分布在不同的server 上，你需要从不同的应用 （由选手自 行选择） web server 中实时进行日志采集，并将采集到的日志进行统一数据格 式，过滤有效日志，日志分类(产品浏览，购买填写，产品支付，收货评价等， 可由选手自行定义)等操作。 需求2：日志数据挖掘 目标：针对上述获取的各个分类日志，依据不同的要求，进行不同的处理， 挖掘有价值的信息。包括但不限于：  实时异常日志告警。日志中会有些程序异常的堆栈，要求对这类日志以告警 的方式通知开发人员进行代码修复。  实时异常安全告警。某些恶意用户对网站攻击会留下日志记录痕迹。可通过 这些日志分析出恶意用户信息并进行告警。  用户行为统计。比如访问某个产品有多少个用户，某个用户最喜欢访问那些 产品，产品访问/支付比率是什么等等。  日志调用链。一个请求会经过很多个应用的处理后才会将最终的结果展现给 客户。每个应用处理都会有日志记录，需要将一个请求完整的日志调用链呈 现出来。 需求3 ：处理结果展示及告警通知 目标：设计并实现简洁清晰的日志展示方式。并对某些情况( 比如上述的异常 日志告警，异常安全告警)可以以邮件，短信，微信等方式通知相关人员处理。 需求4：处理后的日志存储 目标：设计并实现日志数据的存储方式。存储要求具有很好的HA ，且支持 平滑的数据源扩容/缩容。存储数据对于按日志分类，时间等维度的检索速度很 快。日志的保留时间为90 天。 注：本课题的最终目标是从日志中提取有价值的信息，因此为了完成最终目标， 鼓励参赛者进行创新，尝试新鲜的想法和创意。