2016.07大数据的技术环节与平台建设2.0.pptVIP

数据管理 数据管控，是为解决数据标准管理、元数据管理、数据质量管理、数据服务管理、数据安全管理等问题。 存储、安全防护与交易是数据管理的重要环节 目前，大数据行业的存储多依托于云存储技术，将海量数据保存在云端，既能够降低数据存储成本，又能够提高数据处理效率。 但目前我国网络安全形势严峻，存储于云端的数据还需进行安全防护。 此外，随着数据的爆发式增长及数据价值越来越得到凸显，行业内逐渐产生了一种新的商业模式，即数据分享与交易平台，通过搭建数据共享、交换、交易平台，为数据资源供给方和需求方提供便捷的交易环节和服务。 存储与安全两项服务相辅相成，通用型与数据专业型企业并存 传统的线下存储方式因其高昂的成本渐渐转向云存储。 目前国外提供数据存储服务的企业有Nimble Storage、Qumulo等，还有同时提供存储与安全两项服务的企业如Cloudera等。 Nimble Storage是一家数据存储解决方案供应商，其自适应闪存平台能够提供广泛的应用场景支持，同时还能够根据用户需求用户调整闪存策略，选择全闪存方式或者混合式存储服务。 大数据平台的建设 第 二 农业大数据HADOOP基础平台 运用HADOOP2.0和Spark技术，搭建农业大数据HADOOP基础平台，支撑分布式内存分析引擎、分布式机器学习引擎、分布式实时在线数据引擎和流处理引擎的功能实现。 分布式内存分析引擎 在语法上，兼容