企业大数据管理解决方案.docVIP

企业大数据管理解决方案 摘 要： 大数据的应用方兴未艾,根据国内企业的应用场景,给出了企业大数据管理解决方案。此方案还为数据的进一步处理打下了基础。关键词： 大数据; 企业大数据管理 IT行业一直在不断地努力，以最佳方案满足日益增长的各种需求。继云计算之后，大数据又成为业界关注的热点。云计算更多地体现在它的商业模式与服务模式上，而大数据则更关注数据的处理，而这些纷杂的数据则是关系社会、企业乃至个人生活的核心关键，可以说数字时代数据为要。1 大数据参考架构 通常人们认为大数据具有4V特点，即：Variety(多样性）、Volume(大容量或海量)、Velocity(快速)和Value(价值)。至于大数据的严格定义，则是人者见人、智者见智，莫衷一是[1]。　根据调研与实践，本文给出了相关的参考架构，。 可以将大数据的参考层次分为4个： (1) 数据采集。主要涉及对数据源的采集，包括各种结构化与非结构化数据、静态数据与动态实时数据等。　(2) 数据存储。主要涉及对数据的存储，包括分布式存储、海量存储、虚拟存储等。　(3) 数据处理。主要涉及对数据的转换、传输、分发等。 (4) 数据分析。主要涉及对数据的清洗、比对、挖据、钻取等。 同时,按照数据平台管理、数据维护、安全保护等维度，存在着贯穿各层的管理机制，即： (1) 系统管理。对构建的系统平台进行管理与维护。 (2) 数据管理。按照数据生命周期对数据进行管理。 (3) 安全管理。对数据隐私、数据安全、访问安全、系统安全等方面进行管理。2 企业大数据解决方案 由于大数据的应用很多，本文更加关注企业所处的混杂数据的应用场景，基于上面给出的参考架构，给出相应的解决方案。2.1 应用场景　企业的数据是企业的核心资料，企业信息化的核心问题就是数据的应用的效率与效果。目前企业的数据主要包括：财务类数据、管理类数据、业务类数据等，这些数据可以是结构化数据和非结构化数据。从容量上看，随着信息化应用的不断提高，可以达到GB或TB级，对于一些行业，甚至有可能达到PB级。2.2 解决方案 本文提出的企业大数据解决方案是从业务连续性的角度来考虑用户数据的问题。参考了业界流行的ISO20000、ISO27000、BCP/DRP、ＳＯＡ等相关标准和技术，从安全、服务的范畴来管理数据、保护数据、使用数据。 方案主要解决企业用户的结构化与非结构化数据的存储、管理，为企业相关应用提供基础数据，为企业的业务连续性保驾护航。2.2.1 技术特点 方案主要融合了信息安全技术、数据管理技术、数据同步复制技术、数据库技术、商务智能技术等，区别于现有的数据备份产品、数据复制产品、数据管理产品，更关注数据在复制之后能够被快速使用与恢复，以延续业务的连续性。 方案为用户数据的进一步加工处理打下了基础，有助于用户整合数据、整合应用、数据加工、商务智能、决策分析等。 主要特点：　(1)支持多种数据库的不同版本，也支持多种异构数据库之间的同步，如Oracle、SQL Server、MySQL、Sybase、DB2、AS400等可以同步到Oracle数据库或其他数据库上。 (2)支持一对一、一对多、多对一、多对多等异构数据库同步方式。 (3)比较强的数据加工能力，可以选择数据源的不同字段，也可以对数据源做相应的转换、逻辑判断、映射等处理，还可以设置在数据同步时做异常数据检查等。 (4)比较强的传输能力，内置数据传输平台，满足复杂网络情况下的数据可靠传输，支持广域网下的数据同步，支持跨网段的数据同步，支持物理隔离情况下的数据同步。 (5)易用性。提供中文工具，方便可视化操作和监控。2.2.2 技术原理 统一支持结构化数据和非结构化数据的同步及相应加工。提供可视化工具配置结构化数据和非结构化数据的同步与加工。 (1)非结构化数据文件既可以通过系统内置的传输平台同步到备份方的文件夹下，也可以将备份方文件夹下的数据文件映射到数据库上。 对于非结构化的文件备份，可以在数据源方部署一个节点，负责监控和发送文件，通过可视化配置的数据推送服务，选择要发送的文件夹、文件、接收节点、接收文件夹等信息，通过定时等调度策略将文件发送到备份方。当然要发送的文件(或文件夹)、备份方的文件(或文件夹)可以来自于接口表或接口文件，通过接口表(或接口文件)实现文件的备份。 能实现非结构文件到结构化数据的映射，可视化配置非结构文件到异构系统的映射服务，可视化定义文件分类处理服务，根据文件的不同分类调用相应非结构文件到异构系统的映射服务。 (2) 结构化数据方面支持Oracle、MS SQL Server、IBM DB2、AS