基于Hadoop日志的分析与应用.docVIP

PAGEIV

PAGEIV

摘要

互联网的发展越来越迅猛，每天都有大量的数据产生，这些数据里蕴藏着不可估量的价值，大数据分析也变的日益重要。本论题的设计目标在于通过分析系统应用程序产生的日志数据，从而用预测的技术来实现安全方法的更新，达到运用预测的技术更快的帮助安全分析人员利用复杂的数据快速地了解主机安全状况，更容易感知到主机的数据信息以及数据的异常值或错误信息。

本课题以Hadoop平台为基础，选取数据量达到了11G的电商数据，对电商接口的访问日志进行分析，对接口访问的分析分为统计监测和预测两个部分，其中统计监测部分是为对状态码、调用IP、访问频次、平均响应时间的分析统计