基于Hadoop离线计算的日志数据分析与可视化.docx

基于Hadoop离线计算的日志数据分析与可视化 摘 要 在当今的大数据时代，数据分析是大数据技术研发、应用和落地的重要基础，越来越成为大数据领域关注的焦点，通过数据分析的结果可以驱动运营方式，帮助运营者乃至企业决策者凭借数据和逻辑分析能力指导业务实践，从而提升生产效率。目前基于网络日志数据作数据分析的方法众多，但由于网络日志数据的海量规模、海量处理耗时久等特点，使得基于日志数据的数据分析算法在不同的应用场景下存在着非常大的差距，在何种场景下使用何种数据分析算法成为了诸多企业决策者的亟待考虑的问题，本课题将从这个基本问题出发，以网站的日志数据分析为例，