基于hadoop的大规模查询日志分析探究模型设计.pdfVIP

理论与算法 2015.11 基于hadoop的大规模查询日志分析模型设计 马宪敏 (黑龙江外国语学院,黑龙江哈尔滨,150025) 摘要：日志分析对于在用户搜索领域有着很重要的意义 , 目前的日志分析系统有着不少弊端，比如：海量数据无法处理、离线 处理模式、处理时延长等。对日志数据采用分级归档，可以实现大数据的分级优化处理。本文通过提出在一种基于 Hadoop 的大 数据日志分析模型，并对其业务处理流程以及功能架构进行深入分析，实验结果反映出该系统扩展性强、海量数据处理能力卓 越、满足在线处理等，具有良好的可行性和有效性。 关键词 ：Hadoop；海量日志处理；查询；模型设计 Design of massive query log analysis model based hadoop Ma Xianmin