日志存储技术分析与研究.docVIP

日志存储技术分析与研究 　　摘要：日志就是计算机系统、设备、软件的在某种刺激下反应生成的东西。通过日志可以了解计算机硬件和软件的运行状态，可以找出运行问题所在。但随着时间的增长，留存的日志记录会很快的增长到TB或PB级。因此，日志的存储和快速检索分析是一个关键问题，在这篇论文中我们将讨论日志数据的存储格式、检索速度，重点阐述数据库存储的目标、特点与优缺点。 　　关键词：日志；日志存储；格式；快速检索；数据库存储 　　中图分类号：TP316 文献标识码：A 文章编号：1009-3044（2015）12-0243-03 　　Analysis and Research on Log Storage Technology 　　YANG Jia-ying 　　（Guangdong Trade Vocational Technical Schools， Guangzhou 510507， China） 　　Abstract：The log is computer system， equipment， software in a stimulus reaction. The log can understand the running status of computer hardware and software， can find out the operation problem. But with the increase of time， retained the log records will soon grow to TB or PB. Therefore， log storage and fast retrieval analysis is a key problem， in this paper we will discuss the storage format， log data retrieval speed， focusing on target， characteristics and advantages and disadvantages of database. 　　Key words： the log； log storage； the format； quick search； database storage 　　1 日志存储需要注意的问题 　　1.1评估适用的依从性要求 　　在当今的许多行业中，诞生了一大批健全的依从性需求。这方面的例子包括支付卡行业数据安全标准，它明确规定了非常具体的日志保存周期为1年，但其他并没有明确的存储周期。这条原则将帮助你为留存策略打下基础，确定最低需求。 　　1.2评估组织的风险态势 　　内部和外部的风险导致不同长短的留存周期，对组织来说，每个风险领域的事件长度以及日志的重要性可能有很大的不同。需要注意的是，如果你的日志主要用于内部威胁调查，则需要较长的留存周期，因为事故常常是多年都未曾发现的，但一旦发现，就必须紧急的将其追查到底。 　　1.3关注各种日志来源和生成日志的大小 　　防火墙、服务器、数据库，WEB代理服务器，不仅基于需要，也基于典型日志体积及每个日志记录的大小和类型。各种设备或是应用程序生成的日志体积有很大的不同。例如，主防火墙会生成大量的日志内容，因此为了满足次数据的长期留存需求，通常只存储30天的日志。然而，应该仔细评估某些组织的依从性需要以及主防火墙的关键程度，决定是否采用更长的留存周期。对于某些日志来源，可能不具备必要的分析工具。 　　1.4评估可用的存储方式 　　日志存储选项包括硬盘、DVD、WORM、磁盘、RDBMS、日志特定存储，以及基于云的存储。这方面的决策取决于价格、容量、访问速度，最重要的是以合理的周期得到正确日志记录的能力。还必须考虑，存储媒介的寿命和存储媒介多长时间重写才能满足留存周期需求。例如，7年的时间对便宜的可写CD以及DVD可能太长了。技术格式会过时，用于读取软盘驱动器可能难以购买到。 　　2日志存储的格式 　　我们的网络设备、应用程序以及操作系统会产生许多不同的日志格式，在许多情况下，日志被存储为文本、二进制或者是压缩的格式。 　　2.1文本文件 　　基于文本的日志记录是目前出现的最多的日志类型，这主要是因为生成这类日志时需要较低的系统成本，以及现有的许多计算机语言中包含了可以很轻松生成基于文本日志的框架。此类日志文件有着许多优点，其一是应用程序写入时耗费CPU以及I/O资源很少；其二是目前很多常规文本工具都可以很方便的处理和查阅；其三是许多常见的基于文本的日志格式已经存在，更易于集中化及解析，创造一个更完善的日志管理系统。 　　2.2二进制文件 　　二进制日志文件是应用程序