解析大数据V3学习资料 参考.pptxVIP

“大数据”研讨目录1大数据概述2大数据平台介绍3案例分享4通用电气大数据业务Sanlen与大数据 Sanlen早在2011年就对“大数据”有所研究，并且在大数据分析平台架构中有着自己独到的理解，我们同大数据相关厂商如EMC、NetApp、SAS、Informatica有着长期的合作，并且致力于把“大数据”的理念推广给广大客户丽信息安全业务体系数据防泄密体系大数据安全防护体系大数据构架体系安全集成业务体系大数据概述数据大爆炸的时代2006年全球新产生180EB数据GBPB2011年，这个数字达到了1.8ZBZB据市场研究机构预测：2020年整个世界的数据总量将会增长45倍TBEB想驾驭这庞大的数据，我们必须了解大数据的特征。大数据的4V特征体量Volume 多样性Variety 大数据的异构和多样性非结构化数据的超大规模和增长总数据量的80~90%很多不同形式（文本、图像、视频、机器数据）比结构化数据增长快10倍到50倍大数据4V特征大量的不相关信息对未来趋势与模式的可预测分析实时分析而非批量式分析立竿见影而非事后见效深度复杂分析（机器学习、人工智能VS传统商务智能）价值Value速度Velocity大数据技术发展现状尚未完全定型、潜力巨大百花齐放，企业大力投入大数据与工业4.0在工业4.0中大数据变身“智能数据”，随着传感器之类的设备的广泛应用，现代生产设施产生的数据也越来越多，企业收集这些数据并把这些数据转换成有意义的信息并最终帮助企业优化产品和提高生产力。大数据分析平台简介企业大数据之旅挖掘和分析数据获得数据存储数据513246汇集数据运算数据使用数据大数据分析平台层次服务页面数据推送WS/REST等接口服务层缓存RedisNoSQLHbase/Cassandra/MongoDBSQLGbase/MonetDB配置、管理、监控和计划Ambari/ZooKeeper/Oozie认证、授权、审计和数据保护Falcon/Knox/ranger统一管理安全管理数据仓库HIVE数据挖掘R/Mahout流计算Storm内存计算SparkGemfireSAP HANA 计算与存储层分布式计算框架/MapReduce/YARN分布式文件系统/HDFS数据抽取、转换和加载Sqoop/Flume/FTP…非结构化数据实时流数据结构化数据数据源分布式存储架构概述分布式存储架构特点：横向扩展能力强，处理能力线性增长；能够处理结构化、半结构化、非结构化数据；有效支撑百亿数据量、PB级数据实时查询；能够针对全量数据进行数据挖掘和机器学习；集中存储架构分布式存储架构Hadoop与大数据Hadoop是致力于“大数据”处理的最重要平台之一能够轻松扩展到PB级别的数据存储的处理规模带有高度容错能力的并行处理架构基于普通的X86平台硬件架构成本低廉用内置格式存储、处理数据基于开源项目，并行处理架构标准之一Hadoop的主要用途Hadoop架构Hadoop工作流程获得获取数据 导入 Hadoop汇总结果Map数据计算数据3份副本Reduce数据复制结果显示结果原始数据数据分级从Hadoop中删除数据Hadoop整体解决方案Hadoop物理架构核心交换机堆叠交换机堆叠交换机………NameNode分布式存储DataNode分布式存储分布式存储NameNodeDataNode分布式存储……服务器内置硬盘服务器内置硬盘服务器内置硬盘服务器内置硬盘InfiniBand 交换机Hadoop生态系统重新包装OracleTeradataDDNMicrosoftHPNutanixSGIDell发行版ClouderaPivotal HortonworksApache HadoopMapRIBMIntel第三方管理软件Zetta setApache MesosCorona(facebook)StackIQWANdiscoHDFS 替代品NetAppEMC（Isilon）IBM(GPFS)LustreRedHat（GlusterFS）CassandraCephCleversafe大数据时代信息安全风险大数据时代信息安全风险大数据成为网络攻击的显著目标大数据加大隐私泄露风险 大数据威胁现有的存储和安防措施大数据技术成为黑客的攻击手段大数据成为高级可持续攻击的载体 大数据时代信息安全风险应对DDOS攻击防护APT防护数据加密APT：高级持续性安全威胁（Advanced Persistent Threat ） APT防护界限划分在边界处部署防护设备，阻断病毒及恶意邮件，发现和阻止钓鱼网站及非法URL。边界终端加强对终端设备的管控，包括漏洞修复，病毒查杀，外设管理，软件及进程管理。4A标准：用户账户管理，用户认证，用户权限分配，用户行为审计等。用户监控1.边界处监控上