海量分布式日志检索技术的研究-计算机应用专业论文.docxVIP

摘要在网络技术飞速发展的信息时代，很多部门出于安全考虑，往往会将用户以 摘要 在网络技术飞速发展的信息时代，很多部门出于安全考虑，往往会将用户以 及用户的使用信息利用文本的形式保存下来，以便日后的安全审计。但是，这样 的日志量往往是巨大的。为了能在浩如烟海的文本信息中找到自己所需要的数 据，人们迫切需要一个高效的检索工具。因此，如何高效地存储和查询文本这种 非结构数据，就是一个很值得研究的问题，也具有十分重要的现实意义。 本文首先介绍了国内外有关信息检索技术的发展现状以及一些关键技术，然 后对当今两种主流检索引擎进行分析和比较，针对日志文件检索系统的特殊性， 选择合适的高效检索引擎一全文数据库检索引擎，接着提出了一个适合分布式 日志文件系统有效的时间戳索引策略，最后在前两步的基础上，设计一个完整的 日志文件检索系统，并对串行和并行两种检索技术进行分析和比较。 本文最后通过搭建一个千万级规模的日志数据系统平台，分别对串行和并行 两种检索技术的效率进行测量，然后根据得到的实验数据，为并行检索的高效性 提供可靠的依据。 关键字：日志文件检索引擎索引策略时间戳并行检索 AbstractWith Abstract With the rapid development in network technology information，many departments out of security reasons save the user’s information in the form of text preserved for the fIlture of the security audit．However,this quantity is often very huge·In order to be able to find the tremendous amount of text data they need，people need a highly effective search t001．Therefore，how to efficiently store and query the text of this unstructured data is a problem worthy of study,but also of great practical significance． In this paper,we analyze and compare two kinds of today’s popular search of engines．And select the appropriate and efficient search engine for the particularitY for the 109 file search system．Then proposed an effective timestamp indexing strategy 102 file system．The last，based on previous two steps，we design a complete log file retrieval sVstem，and analyze and compare tWO kinds of serial and parallel search techniques． Finally’build a 10 million log-scale data platform，and measure respectively obtained for serial and parallel search’s efficiency。And then the experimentM data the parallel retrieval efficiency for providing reliable evidence· Parallel Keyword：Log file Search engine Indexing strategy Timestamp search II 第一章绪论1．1研究的背景和意义 第一章绪论 1．1研究的背景和意义 1．1．1背景现状 进入新世纪以来，因特网的发展速度有增无减，网络的规模和网民的数量一 直呈现加速增长的态势。先不说西方发达国家如何高的计算机网络普及率，就拿 我们中国这个发展中国家来说，截至2009年12月30目，中国网民规模达到3．84 亿人，普及率达到28．9％。网民规模较2008年底年增长8600万人，年增长率为 28．9％，中国网民规模增长依然强劲。宽带网民规模达到3．46亿人，较2008年 增长7600万