基于Hadoop的民航日志分析系统及应用.docVIP

基于Hadoop的民航日志分析系统及应用 　　摘要摘要：民航信息系统日志包含大量信息，但由于日志数据非结构化，不易被读取且数据量巨大，难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统，系统结合数据挖掘领域经典的KNN分类算法，对算法进行了并行化改进，给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试，集群系统在处理较大规模数据时更高效。实验结果证明，系统具有较高的执行效率和可扩展性，对民航日志分析具有较高的实用价值。 　　关键词关键词：日志分析；Hadoop；KNN算法；并行计算；MapReduce 　　DOIDOI：10.11907/rjdk.162386 　　中图分类号：TP319文献标识码：A文章编号文章编号2017）001010004 　　引言 　　随着民航信息化建设的深入，民航信息系统越来越多，复杂度越来越高。系统每天产生大量日志数据，这些数据记录着系统的运行状态。目前民航系统日志数据分为两部分：①过去运行生成的大文件，约56GB；②每天生成的文件，大约是200-300MB。日志是apache common格式，分析系统产生的日志数据成为了解系统安全与可扩展性的重要途径，相关业务指标可供运营决策者使用。 　　由于日志信息