云计算环境下实时日志分析系统的设计和实现.docx

PAGE10

PAGE23

PAGE10

引言

简介

随着现代经济地飞速发展、各种互联网技术地不断突破，云计算为软件产业带来了新的发展机遇。云计算帮助用户有效地利用网络资源，为企业大大节省了经济成本。Hadoop是当前云计算最流行的处理平台之一，它主要解决了数据存储和分布式计算的问题。Hadoop作为对大量数据分布式处理的基础架构，由于代码开源，许多大数据开发人员都会选择基于Hadoop平台去搭建云计算项目[1]。

云计算平台在实际运行过程中，无时无刻都在产生大量的系统日志，这包含节点运行日志、关键进程日志、虚拟机运行日志及虚拟机内部业务进程日志等等。这