基于内存映像技术的网络流量日志处理的实现.pdfVIP

实践与经验 ／／ 基于内存映像技术的网络流量 日志处理的实现 曹晶华 ． 邹 翔 (东软信息技术学院，大连 116023) 摘 要：针对现有存储的网络流量 日志信息数据量庞大，访 问效率低等I1题 ，为 了从海量的网络 日志信息中提取所需要的数据 ，提 出了利用 内存映像技术解决 日志访 问的方法，该方法 利用网络流量 日志 自身的特点建立访I1路径 ．通过对网络 日志建立内存映像来访 问日 志信息，并通过 c++程序 实现 了此方法 。 关键词 ：网络流量 日志 ；内存 映像 ；虚拟 内存 ；文件 I／O 0 引 言 但是对于几十 GB，几百 GB、乃至几TB的网络 流量 日志处理．就不能用通常的文件处理方法来处理 校园网络系统每天都会产生大量的 日志信息 ．这 海量的日志数据 Windows提供了一个统一的内存管 些信息正是网络管理人员用来监控用户 网络应用行 理特征 ．使用内存文件映射技术 ．使应用程序可以通 为．跟踪网络应用资源的使用情况 ．识别网络 中的异 过 内存指针对磁盘上的 日志文件进行访 问．其过程就 常流量和性能瓶颈 以及有效地规划和部署网络资源 如同对加载了13志文件的内存的访 问 的依据 有些 日志信息需要提取和处理 ．并将结果存 储起来 ．为 日志数据挖掘提供基础数据 ．为网络 日志 2 文内存映射文件技术 (MapView0fFile。 的分析和处理提供决策的依据 MVF1 1 文件操作基本原理 在win32环境下的文件访 问是很方便 的 内存映 射文件与虚拟内存有些类似 ．Win32的虚拟 内存系统 操作系统不允许程序随意使用存储在外存的文 件信息．当程序要使用文件时必须 向操作系统 申请使 具有把实际内存映像到页文件或交换文件的能力 ．而 内存文件映射的物理存储器来 自一个已经存在于磁 用 ．操作系统按规则授权给程序后程序才可以使用 后．使用完毕后．程序应该通知操作系统 盘上的文件 ．而非系统的页文件 ．而且在对该文件进 行操作之前必须首先对文件进行映射 ．就如同将整个 系统在 内存 中开辟的一段称为缓冲区的区域 ．当 文件从磁盘加载到内存 程序需要从外存中读取文件中的数据时 ．系统先读入 通过文件映射使磁盘文件的全部或部分内容与 足够多的数据到缓冲区中．然后程序对缓冲区中的数 进程虚拟地址空间的某个区域建立映射关联 ．它先是 据进行处理 当程序需要写数据到外存 中文件中时． 保留一段虚拟 内存地址空间．然后将磁盘文件提交给 同样要先把数据送人到缓冲区中．等缓 冲区满了后． 这段内存空间 现在使用一个指向该区域的指针就可 再一起存人外存中