面向大规模批量日志数据存储方法的研究-信息与通信工程专业毕业论文.docxVIP

摘 摘 要 万方数据 万方数据 摘 要 防火墙、IPS/IDS、WEB服务器等大的网络系统实时产生大量日志数据，能高 效地存储、处理这些数据是挖掘日志数据的前提。关系数据库因为要进行类型检 查、语句分析等操作大大影响了其效率，越来越不适用于处理实时和海量日志数 据。而无类型约束、易扩展的键值数据库无疑将大大提高对日志数据的处理效率。 随着互联网的发展键值数据库的应用越来越广泛，百度，谷歌，雅虎，阿里巴巴 等大的互联网公司都采用键值数据库存取，现在热门的云存储，云计算其数据也 用键值技术。本文详细介绍了键值数据库的原理和主要技术，并设计和实现了一 个高效的、专门处理网络日志数据的键值数据库，能够支持多维索引和事务处理， 并 保 证 进 程 和 线 程 安 全 。 最 后 给 出 完 成 的 键 值 数 据 库 的 测 试 结 果 以 及 和 BerkeleyDB数据库的对比情况，指出实现键值数据库的优势与不足，并给出下一 步的优化改进措施。 本课题主要内容是设计一个实时处理海量网络日志数据的数据库。其主要实 现功能包括以下几点： (1) 基于键值数据库技术，开发一个网络日志存储系统； (2) 保证较高的读写效率，写日志到数据库和从数据库中读日志的速率都达到 每秒10万条记录的数量级； (3) 实现多维索引，实现从多个域查询日志记录，并支持等值查找，范围查找， 遍历操作等； (4) 线程安全，读，写进程的同步与互斥，保证数据的完整性； (5) 实现C/S分布式存储，利用libevent库来实现主从存储器间的通信。 本课题将采用一种从整体到局部的设计思路实现日志存储系统。首先分析日 志记录的特点和日志系统需要提供的功能来总体设计键值数据库。然后研究实现 数据库的各项技术并进行分析对比，接着从整体到各个模块进行分别设计和优化， 最终完整地实现日志存储数据库。所要达到的目标为能实时的存储日志记录到数 据库中，同时也能实时的从数据库读日志出来。 关键词：网络日志，键值数据库，hash，B/B+树，Libevent I ABSTRACT ABSTRACT ABSTRACT ABSTRACT 万方数据 万方数据 万方数据 万方数据 ABSTRACT Many Internet systems, such as firewall, IDS or web server, keeping producing a huge amount of log messages. Storing those logs and mining them are difficult. With type checking and SQL analysis, RDBMS cant meet the requirement of high efficiency. However, a new kind of database--key value database or NoSQL database is good at manage huge data because it is type-checking free. Most of all, it is easily scaleable. With the development of the Internet key database used widely, Baidu, Google, Yahoo, Alibaba and other large Internet companies are using key database access, and now popular cloud storage, cloud data is also used to calculate the key technology. This thesis introduces a log store system based on a key value database. It shows that key value database is better at managing networks logs. Firstly this paper reviews related technologies and then focuses on the design and architecture of the log store system. At last, it prove the systems good performance by comparing with BerkeleyDB and indicates some supplement to enhance it. The main tas