面向智能电网的数据密集型云存储策略 a smart grid-oriented data placement strategy for data-intensive cloud environment.pdfVIP

第 36卷 第 12期 电 力 系 统 自 动 化 Vo1．36 No．12 2012年 6月 25 日 Automation ofElectricPowerSystems June25，2O12 面向智能电网的数据密集型云存储策略 丁 杰 ，奚后玮 ，韩海韵 ，周爱华 (国网电力科学研 究院 ／南京南瑞集团公司 ，江苏省南京市 210003) 摘要：智能电网环境下数据密集型应用往往涉及跨数据 中心的数据传输和数据 中心 内的数据迁 移 ，这对数据分布提 出了新的挑战。为了充分利用计算存储资源，满足智能电网大规模数据的可靠 存储和高效处理的实际需求，提 出了基于云计算的数据密集型存储方法，该方法将数据集映射成数 据空间的点集。设计了两阶段分类过程：第 1阶段基于传统的K 均值算法实现点集的初始分类； 第 2阶段针对各数据集与初始聚类的隶属关 系，引入数据 迁移的代价函数 ，对初始分类进行调 节， 实现数据集到数据 中心的布局方案 。实验结果表 明，该算法能够有效提高数据存取效率并兼顾全 局 负载均衡 。 关键词 ：智能电网；云计算；数据分布；数据迁移 ；一致性哈希算法 0 引言 拟存储资源 ，为用户提供透明虚拟存储资源 ，共同对 外提供数据存储和业务访问功能 。目前 ，云存储发 伴随着互联网的深度普及以及 IT应用模 式的 展呈现分 布式数据 密集型趋 势，广泛应 用于 天文 转变 【，数据量开始爆炸性增长，数据价值逐渐提 学l8j、物理学_g和生物信息学口 领域 ，这类应用的 高，海量数据处理的需求越来越迫切 。基于资源管 部署和执行所涉及的TB级 ，甚至PB级的数据往往 理效能和信息处理能力 的优势，云计算在大规模科 存储于分布式数据 中心 ，需要多数据 中心的有机协 学计算等领域已取得成功案例l_2]，但在电力系统中 同。而在电力行业 ，随着电网建设规模的不断扩大， 的应用研究还处于起步阶段 。目前 ，电力云计算在 以及数字化电网、数字化变 电站等研究应用的不断 平台设计 、系统实现和前景展望等方面提出了初步 深入 ，系统面对的采集点越来越多 。一个中等规模 设想 ，例如 ：文献[53针对传统 电力系统计算平台在 地区的采集量可 以达到 2万至 10万条记录，而一个 计算 、存储 、信息集成和分析等方面的不足 ，提出建 大型地调未来可能面临 50万至 100万条记录的数 立基于云计算的电力系统计算平台，展望了云计算 据采集规模 ，一年 的数据存储规模将 从 目前 的 在电力系统安全分析 、潮流与优化潮流计算 、系统恢 GB级扩大到 TB级 。此外 ，随着调度 自动化水平的 复、监控、调度、可靠性分析等领域 的应用前景 ；文 不断提高 ，提出了实时运行数据不采用周期性采样 献 [6]研究了云计算 中的虚拟化 、分布式存储与并行