电力企业大数据平台数据权限控制机制研究与应用-电力信息与通信技术.PDF

ELECTRIC POWER ICT 中图分类号：TP319　文献标志码：B　文章编号：2095-641X(2017)05-0049-05　DOI：10.16543/j.2095-641x.electric.power.ict.2017.05.010 电力企业大数据平台数据权限控制 机制研究与应用 1 1 1 2 2 谭 晶 ，仇红剑 ，徐 明生 ，党倩 ，杨泉伟 （1. 江苏电力信息技术有限公司 , 江苏 南京 210000 ；2. 国网甘肃省电力公司 信息通信公司 ，甘肃 兰州 730050 ） 摘要：针对开源 Hadoop 平台数据权 限控制机制不足导致无法在 多租户环境下应用的问题 ， 文章通过与统一权 限管理系统的集成 以及添加 Kerberos 认证机制 ，实现 了对 HDFS、Hive、 HBase 数据权 限的统一管理 ，保障数据在 Hadoop 多租户 间的交叉授权及隔离访问，通过一 个运维管理系统实现 了相关机制 ，并在江苏省 电力公司得到了有效应用。 关键词：大数据；数据权 限；Hadoop；权 限控制 资源，完成对结构化、非结构化等多种类型数据的 0　引言 处理。然而，由于电力企业物理隔离的安全特性， 电 截至2011 年，据IDC 统计全球数据总量已有 Amazon EMR 无法应用在企业环境中。而在开源项 力 大 1.8 ZB ，并预测到2020 年全球数据总量将超过35 ZB ， 目方面的研究尚处于尝试性发展阶段，未见公开文 数 [1] 总体增长近20 倍 ，数据处理需求急剧增长。Hadoop 献讨论如何在Hadoop 体系下构建权限控制体系，实 据 [2] 平台 以分布式数据处理为基础，提供了海量数据 现在企业环境的安全应用。 存储、计算、访问的能力，被广泛应用于各类企业 2　总体架构 构建大数据处理平台。然而，由于软件尚不完善， [3] 为了实现大数据平台用户接入控制以及数据的 Hadoop 更多侧重于底层计算、存储能力的提供 ，在 企业应用中面临着数据权限控制能力不足的问题， 安全存储，在底层开源平台之上新增安全控制层。 无法实现数据在不同用户间的有效隔离。针对该问 大数据平台数据权限控制体系如图1 所示。 题，本文构建了一个电力企业大数据平台数据权限 控制体系，在保障大数据平台分析能力的同时，实现 数据在不同用户间的有效隔离，保障平台内数据的 安全可控。 N 1　相关工作