NOSQL在WEB日志分析中应用.docVIP

NOSQL在WEB日志分析中应用 　　摘要：本文主要分析NOSQL在WEB日志分析中的应用，使用MongoDB数据库和HadOOP进行系统架构，使用Map Reduce方法处理分析WEB日志数据。在WEB前台显示中，本文将WEB日志统计分为若干个核心模块，并使用jQuery技术进行WEB UI的设计。 　　关键词：NOSQL；Map Reduce；MongoDB；jQuery 　　 　　NOSQL in WEB log analysis 　　Xu JuanJuan2Zhu ChengLiang 　　（1.Computer Science, Anhui University of Science and Technology,Huainan 232001,China； 　　 2. Computer Science, Anhui University of Science and Technology,Huainan 232001,China） 　　 　　Abstract: The article analyzes the application of NOSQL in WEB log analysis, usesMongoDB and HadOOP for system architecture, and Map Reduce methods are used to process and analyze WEB log data. In front display of WEB, the article divides WEB log statistics into a number of core modules, and uses jQuery technology to design WEB UI. 　　Key words：NOSQL;Map Reduce;MongoDB;jQuery 　　 　　1、引言 　　随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题：对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求，对数据库的高可扩展性和高可用性的需求。 　　NoSQL是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而NoSQL存储就是为了实现这个需求。目前Google的 BigTable、Facebook的Cassandra、Apache的HBase 和Amazon 的Dynamo等使用的就是NoSQL型数据库。 　　2、系统整体架构 　　本文研究的WEB日志分析系统主要由两部分组成，Nosql数据库的部署和WEB前台显示，系统整体架构图如图1所示。 　　在Nosql数据库的部署中，本文使用Hadoop（Hadoop是apache下面的一个分布式并行计算框架）计算框架中的核心思想MaReduce来处理日志数据，将处理后的数据保存至Nosql数据库Mongo DB中。 　　在WEB前台显示中，jQuery框架库和Mongo DB都采用JSON数据格式，使得jQuery和Mongo DB之间交互数据很方便，而且jQuery在WEB UI中具有强大的表现功能，因此本文采用jQuery框架技术进行WEB UI前台显示的设计。 　　3、日志数据的处理 　　本文主要是使用Hadoop的MapReduce思想来进行日志数据的处理。本文使用Hadoop对日志数据进行处理的过程如下： 　　1) 读取所有的日志信息；2) 根据我们的key，value来划分日志数据；3) 过滤掉一些我们不需要的记录；4) 检查日志数据是否正确；5) 将处理后的数据存储到MongDB数据库中。 　　MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。Map和reduce是分开处理的，map是将一个任务分解为多个任务执行，reduce是将多个任务汇总起来得到想要的结果。把一个 list拆解为多个放到线程池中启动多个线程计算list中值，然后把多个任务返回的结果合并为一个总的结果其实就是一个简单的MapReduce的应用。 　　在实际应用中，由于我们处理的是非常庞大的日志数据，所以我们使用Hadoop并行算法来同时进行多个MapReduce处理。单个MapReduc