基于Oracle数据库统计分析系统以及性能瓶颈点.pptxVIP

基于数据库的统计分析系统以及性能瓶颈点王睿悠视网-技术中心-后台开发部主要内容自我介绍统计需求范围数据库统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部主要内容自我介绍统计需求范围数据库统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部自我介绍王睿微博:/xiaochawan8年Java开发经验热爱技术、喜欢开源悠视网-技术中心-后台开发部主要内容自我介绍统计需求范围数据库统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部统计需求范围日志安装在线收视播放数据量每日GB量级历史数据好几亿指标VV、UV、IP观看时长新增UV新增IP报表日报、周报、月报、年报悠视网-技术中心-后台开发部统计难点观看时长新增UV新增IP如何防止渠道作弊悠视网-技术中心-后台开发部主要内容自我介绍统计需求范围统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部数据流DBDB日志服务器汇总分析汇总分析详情详情汇总汇总日志服务器日志服务器日志服务器悠视网-技术中心-后台开发部收集每天凌晨定时把前一天的日志scp到日志分析服务器crontab+scp+ant(waiting)悠视网-技术中心-后台开发部收集例子悠视网-技术中心-后台开发部分析工具crontab+ant+sql脚本(外部表)悠视网-技术中心-后台开发部分析例子定义分析流程悠视网-技术中心-后台开发部分析例子外部表导入数据过滤数据相当于第1次map/reduce详情表悠视网-技术中心-后台开发部分析例子汇总表汇总数据第2次map/reduce悠视网-技术中心-后台开发部报表展现框架技术：Java Swing+Spring+JDBC设计目标：只需要通过简单的配置，就可以方便快捷的增加统计指标。支持多级菜单，每个菜单下可以挂任意数量的指标。序号配置项例子1指标标题分频道隔天安装转换率2查询条件开始时间 类型下拉列表3报表头元数据渠道名称、安装时间、访问时间、访问人数(MAC)、访问人次(1-3)…4取数据的SqlSelect name, time1, time2, time3, time4 from table_name where …..5关联指标配置配置与该指标有关联的其他指标，方面导航6权限配置基于角色的权限配置悠视网-技术中心-后台开发部主要内容自我介绍统计需求数据库统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部性能瓶颈点日志没有做到增量同步，分析时获取，失败将导致当天分析任务失败。串行分析，分析时间依赖于数据量和单机性能虽说后端采用了分区技术，但是数据量大时，插入查询依然很慢，数据过滤和汇总环节都慢不是DB做不了，是我们没有钱悠视网-技术中心-后台开发部主要内容自我介绍统计需求数据库统计分析架构性能瓶颈点经验教训悠视网-技术中心-后台开发部经验教训把好日志格式关，直接影响分析性能日志增量同步，详情表可以做到增量插入要有个好的分析管理框架，脚本多了、map/reduce多了维护工作量都不会小展现框架尽量可配置，运营的需求无限悠视网-技术中心-后台开发部谢谢大家！悠视网-技术中心-后台开发部