数据热图与内存计算自动化协同优化.PDF

ELECTRIC POWER ICT 中图分类号：TM73　文献标志码：B　文章编号：2095-641X(2017)09-0091-07　DOI：10.16543/j.2095-641x.electric.power.ict.2017.09.017 数据热图与内存计算自动化 协同优化 黄嘉东 ，佘俊 （中国南方电网有限责任公司调峰调频发电公司 ，广东 广州 510000 ） 摘要：关系型数据库（Relational Database Management System ，RDBMS ）技术正在经历重大的变更 ， 从 固定的服务器和存储转 向灵活的云部署 ，从存储优化的数据库管理转 向内存优化的数据库管理。开源 数据库技术不断涌现 ，商用数据库技术不断深化 ，其中在企业级数据库 系统 中有 2 项新技术的发展 引人 注 目，分别是分析数据使用情况的数据热 图和提供 I/O 性能的 内存计算（Database In-Memory ）技术。 文章提 出一种将 2 种技术结合运用 ，自动化协 同优化 的方法 ，综合 2 种技术 的优点 ，以数据库热 图为基 础数据 ，自动化分析推荐 内存计算的优选 目标 ，并且对 Database In-Memory 中的数据 自动加载 / 卸载。 本方法不增加软硬件成本 ，通过优化对资源利用的效率提升数据库 系统的性能 ，对企业级数据库的性能 电 优化有明显的效果。在 电力信息化 系统 中应用本文的技术 ，可以快速提升数据库性能。由于可以实时优 力 化 ，避免 了以往优化工作滞后的问题 ，同时可以减少优化的工作量 ，节省人力物力 ，降低 了成本。 信 息 关键词：关系型数据库；Oracle 数据库热图；内存计算；存储分级管理 通 信 境下 的数据处理 。数据处理从 以计算 为 中心转变成 0　引言 以数 据 为 中心 ，通 过 使 用 传 统 的 内存—磁 盘访 问模 在 大数 据 和 云计 算 热 潮 中 ，内存 数 据 库 市 场 的 式处理大数据存在 I/O 瓶颈 ，处理 的速度 问题愈发突 复 合 年 增 长 率为 43 ％ （全 球 研 究 公 司 Markets ＆ 出 ，且 时效性难 以保证 ，现有 的方案都 只能一定程度 Markets 预 测 ），从 20 13 年 的 22 . 1 亿 美 元 跃 升 至 上缓解这个瓶颈 。每家大型公 司每分钟都会做 出数 20 18 年 的 132 .3 亿美元 。内存计算最重要 的驱动力 千 次 实 时决 策 ，企业 的需 求 使 得 内存 计 算 技 术 成 为 来 自内存数据库允许对 “实时”事务数据 的实时分析 目前广受关 注 的技术 。本文研究 了从海量数据 中识 和实 时 的情境 意识 ，而不是对 “过 时数据 ”进行事后 别 出哪些 数 据 是 真正 的热 点数 据 ，然后 根 据 数 据 的 分析 。 热度 ，分别 将 数 据 放 入 列 式 内存 、行 式 内存 、闪存 和 更 多公 司正 在 采 用 或 者计 划 采 用 实 时分 析 ，这 硬盘 ，进行存储 的智 能分级管理 ，进 而通过 内存计算 样做 的驱动是来 自增加业务 流程 的速度 和准确性 的 技术支持企业级实时计算需求 [1] 。 压 力 ，特别 在 数 字业 务 和物联 网方