大数据技术与应用 第2版 课件 第7章 数据治理；第8章 大数据安全.ppt

企业架构通常分为两大部分即业务架构和IT架构。（1）业务架构业务架构是企业治理结构、商业能力与价值流的正式蓝图，并将企业的业务战略转化为日常运作的渠道。企业管理层通常是企业战略的提出者，而业务架构师则通常是业务蓝图的设计师，最后的解决方案则是由数据架构师、应用架构师和技术架构师来完成主流的企业架构Zachman架构FEA架构TOGAF架构Gartner架构常见的数据治理实现工具Atlas最早由HortonWorks公司开发，用来管理Hadoop项目里面的元数据，进而设计为数据治理的框架。后来开源出来给Apache社区进行孵化，目前得到Aetna，Merck，Target，SAS，IBM等公司的支持进行发展演进。因其支持横向海量扩展、良好的集成能力和开源的特点，国内大部分厂家选择使用Atlas或对其进行二次开发。Apacheranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。ApacheSentry是Cloudera公司发布的一个Hadoop安全开源组件，其中Sentry是一个基于角色的粒度授权模块，提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。它可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala等集成，甚至还可以扩展到其他Hadoop生态系统组件，如HDFS和HBase。第8章大数据安全数据安全概述数据的安全是计算机系统安全的核心部分之一，数据安全的定义一方面是指其自身的安全，包括采用现代加密技术对数据进行主动保护，另一方面是数据防护的安全，指的是采用现代信息存储手段对数据进行主动防护。数据安全的特点：（1）保密性个人或者企事业单位的信息数据不能被其他未经许可的人员取得。（2）完整性完整性是指在信息数据传输和存储过程中，不被未经授权的篡改。（3）可用性可用性也称有效性，主要是指信息数据能够被授权的人员正常访问、使用。大数据时代的安全挑战与解决网络安全威胁网络安全问题可能对大数据的应用造成十分严重的安全威胁，例如利用计算机网络黑客就可以使用技术手段盗取数据、篡改数据、损坏数据，甚至侵入系统造成严重的破坏。1）网络攻击网络攻击从最初“黑客”个人出于炫耀和展示网络技术，发展到如今更多的是以谋取经济利益为目的、有组织的职业犯罪行为。同时由于网络攻击技术的发展，使得许多攻击工具软件使用简单化，获取途径比以往更加容易，网络攻击的实施者也出现了低龄化和集团化的特点。2）计算机病毒与木马计算机病毒其实就是一个计算机程序，只不过不同于一般程序，其是会给计算机系统造成破坏，并且能够自我复制和传播。计算机病毒在互联网快速发展的今天，其传播的速度和造成的破坏规模都是以往无法想象的。3）拒绝服务攻击拒绝服务攻击，英文名称是DenialofService，简称DoS，其攻击行为被称为DoS攻击，目的是使计算机或网络超出其能够提供的服务限度，造成资源耗尽，最终无法提供正常的服务。大数据设施安全威胁大数据设施是大数据技术应用的基础，其包括了数据的存储设备、计算设备、互联以及管理等设备，其中既包括硬件设备也包含软件设备。（1）物理安全物理安全是大数据设施安全的前提和基础（3）信息泄露及丢失信息的泄露及丢失主要包括了在信息的传输过程中、在存储介质中甚至是恶意人员利用隐蔽隧道窃取。（2）非授权访问非授权访问指的是在没有获得授权许可的情况下，使用大数据基础设施设备或者访问相关网络及计算机资源。大数据的储存是大数据技术的一个关键技术，现阶段主要是采取关系数据库和非关系数据库进行存储。大数据存储安全威胁关系型数据库有很多的不足之处，诸如高并发读取性能较低、海量数据的读写效率很低、数据库的扩展性和可用性较低等。（1）关系型数据库的存储安全1） 模式的成熟度不足2） 支持力度不够3） 客户端软件安全威胁4） 数据冗余及分散性风险（2）非关系型数据库的存储安全个人隐私安全威胁在大数据时代，个人的隐私问题变得越来越受人们关注。人们在享受技术进步带给我们的方便和快捷生活时，也受到了个人隐私被窥探的困扰。个人隐私指的是我们个人生活中不愿意被公开或者让其