金服平台数据分析系统各类日志数据采集方案.docx

金服平台数据分析系统各类日志数据采集系统总体方案修订记录日期修订版本修改描述作者2017-04-290.5.0开始写金服平台数据分析系统各类日志数据采集方案2017-05-90.7.0初步完成移动和Web页面非实时日志采用Countly实现日志采集与收集实现方案2017-05-180.8.0补充移动和Web页面实时日志采集部分内容2017-05-220.8.5初步设计拦截器实现移动和Web页面后端实时日志采集构架1.金服平台移动 App日志内容要求规范1.1 日志系统需收集更多数据时移动应用采用埋点上传日志技术与 App日志上传暂行规定很早之前，也就是当年的PC时代，由于受限于存储和计算能力，大家一般很少用日志来分析业务。而是在业务逻辑里，将业务需要分析的数据事先写入到库里，针对库的数据进行统计分析。所以之前做OLAP，需要很高级的硬件支持，大家都去IOE等买昂贵的服务器来做数据仓库以及进行数据分析。由于成本的问题，拿到的数据是很少的，所以进行统计分析和挖掘所得到的收益微乎其微。随着Hadoop的兴起，分布式文件系统和分布式计算大大降低了存储成本和计算成本， 使得现在用日志分析业务成为了可能。1.1.1 移动App分析的数据类型对于移动端的App来说，分析的数据大致上都可以分为俩种，一种是在线数据，一种是离线数据，还有 App业务需要的综合动态数据（简称动态数据）。 在线数据在线数