基于内存映射文件的进化算法数据存储引擎.docx

基于内存映射文件的进化算法数据存储引擎姜三义，代真真，李阳，周爱民JIANG Sanyi, DAI Zhenzhen, LI Yang, ZHOU Aimin华东师范大学 计算机科学技术系，上海 200241Department of Computer Science Technology, East China Normal University, Shanghai 200241, ChinaJIANG Sanyi, DAI Zhenzhen, LI Yang, et al. Data storage engine based on memory-mapped file for evolutionary algorithms. Computer Engineering and Applications, 2015, 51（1）：49-53.Abstract：In order to observe and analyze the execution of Evolutionary Algorithms（EAs）, large volumes of data generatedduring algorithm execution are always stored in disk files. An embedded data storage engine, named as the Evolutionary Algorithm Database（EADB）, provides simple yet flexible data storage interfaces for evolutionary algorithms, and facilitates fast large data storage by using memory-mapped files. Compared to storage methods using traditional file I/O and general database storage engine, EADB is tremendous faster.Key words：evolutionary algorithm; memory-mapped file; data storage engine; file I/O摘 要：为了观察和分析进化算法的执行情况，往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于 进 化 算 法 的 嵌 入 式 数 据 存 储 引 擎 EADB（Evolutionary Algorithm Database）提 供 了 简 便 灵 活 的 数 据 存 储 接 口 ，通 过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件 I/O 存储方式和一般的通用数据存储引 擎，EADB 大大加快了存储速度。关键词：进化算法；内存映射文件；数据存储引擎；文件 I/O文献标志码：A中图分类号：TP311doi：10.3778/j.issn.1002-8331.1303-01661引言基 于 统 计 和 机 器 学 习 的 进 化 算 法 目 前 日 益 引 起 人 们的重视。进化算法[1]是一种通过多次迭代搜索来获取 全局最优解的随机优化算法[2]。作为一类启发式搜索算 法 ，是 否 具 备 良 好 的 搜 索 记 忆 功 能 ，即 通 过 一 定 方 式 存 储 并 利 用 已 搜 索 的 解 空 间 ，是 评 价 算 法 好 坏 的 关 键 之 一。从本质上来说，进化算法维护的种群和其他信息实 际 上 可 以 看 作 是 一 个 动 态 变 化 的 数 据 集（数 据 库）。 当 前及历史数据集隐含了进化算法搜索的规律，因此可以 通 过 模 式 识 别 和 机 器 学 习 的 方 法 来 挖 掘 隐 含 在 这 些 数 据 集 中 的 规 律 并 指 导 进 化 算 法 的 搜 索 。 有 效 存 储 和 组 织当前和历史群体信息，是实现这类算法的前提。由于进化算法的搜索空间往往比较大，存储记忆时 需要平衡算法效率和磁盘空间[3]。随着计算机磁盘容量的迅速增长和单位容量成本的降低，可以将更多的算法数据存储到磁盘中。但是在性能上，现有的通用数据库 技 术 或 传 统 文 件 存 储 方 式 并 不 能 很 好 地 满 足 这 种 需 求。使用通用数据库时，需要额外搭建专有的数据服务 系 统 ，进 行 数 据 库 维 护 ，并 且 由 于 数 据 库 索 引 等 机 制 的 存在，数据库对于大量实时算法数据的存储效率并不理 想 。 算 法 设 计 人 员 因 而 往 往 将 数 据 以 文 件 的 形 式 直 接 存 储 到 磁 盘 上 。 由