DANA大数据平台介绍与展望.pptx

2017DANA智能大数据开发平台智能大数据开发平台从大数据技术说起1智能大数据开发平台传统大数据解决方案Oracle：Oracle主要提供BDA（Big?Data?Appliance）大数据一体机、RTD（Real?Time?Decision）实施决策引擎作为整套企业大数据解决方案。大数据一体机满柜可支持648核CPU，2304G内存，864TB硬盘以及40GB/s的网络带宽。Teradata：专注于数据仓库、数据分析的研发，主要产品包括Teradata 数据库、Teradata数据仓库软件、企业数据仓库、动态企业数据仓库、数据仓库专用平台、Teradata Aster大数据探索解决方案智能大数据开发平台后Hadoop时代的大数据架构Cloudera：最成型的Hadoop发行版本，拥有最多的部署案例。在开源的基础上增强了企业管理、安全、强大的部署、管理和监控工具。在对SQL支持度上，Cloudera开发的基于内存计算的Impala组件支持SQL99以及部分SQL2003版本，同时达到秒级的响应速率，性能超过Spark SQL二到三倍。Hortonworks：使用了100%开源Apache Hadoop提供商。他们的Stinger开创性地极大地优化了Hive项目开发了很多增强特性并提交至核心主干，这使得Hadoop能够在包括Windows Server和Azure在内平台上本地运行。MapR：获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS。提供诸如快照、镜像或有状态的故障恢复等高可用性特性。领导着Apache Drill项目，是Google的Dremel的开源实现，目的是执行类似SQL的查询以提供实时处理。星环：Intel Hadoop背景，定位于大数据基础平台，主要是基于Hadoop和Spark实现的，优化了SQL On Hadoop的解决方案，支持SQL92、SQL99等标准，并且部分支持SQL2003以及PL/SQL智能大数据开发平台大数据架构对比HortonworksCloudera智能大数据开发平台DANA Manager v3.x分析挖掘实时计算数据集成数据存储管理安全Mustang(Spark)CrabInfinity/Cayman/Teryx/…Dolphin, Mlib资源管理Yak 消息中间件Phoniex任务调度Dodo负载均衡Kirin数据库Stork集群协调ZK…检索引擎Eagles非结构存储Cayman块存储fox海量存储INFINITY文件存储fox…DANA 大数据平台架构大数据交易大数据应用给数据消费者 提供服务政府企业个人…政务应用行业应用企业…面向最终客户全域大数据建设数据资产大数据技术大数据技术是支撑提供的是工具集成计算存储…数据是资产智能大数据开发平台专注大数据技术平台研发DANA Bigdata Platform一个纯粹的技术服务PaaS平台帮助用户、研发合作伙伴打造大数据生态智能大数据开发平台DANA平台深剖析2智能大数据开发平台2016智能大数据开发平台Eagles v3.2Lemur v3.0Cayman v3.1Dodo v3.1DANA v3.1正式版Stork v3.0Eagles v3.1DANA v3.0正式版+++++2016.62016.92016.32017.12016.12Leopard v3.1Phoenix v3.0Eel v3.0Leopard v3.2Dodo v3.2Kirin v3.0智能大数据开发平台突破分析端应用端采集端处理实时化增强实时处理手段高效化 在海量数据处理方法和性能上有突破开发简单化流程规范化融合多源数据融合增强数据处理方法接口标准化DANA 2017 Roadmap智能大数据开发平台0301DANA V3.1Dodo v3.2Phoenix v3.0Dolphin v3.0New Crab…2017.5 2017.1.21++++DANA 3.002042016.8Teryx v3.0Mustang v3.0DANA v4.02017.Q12017. Q2 – Q3DANA v4.0 初步规划智能大数据开发平台DANA Manager v4.0应用服务容器云平台应用构建发布应用托管开发者中心应用市场大数据服务数据处理数据分析数据存储数据融合基础服务统一资源管理（存储、网络、计算）DANA v4.0 示例图智能大数据开发平台智能大数据开发平台标准大数据流程数据统计/分析/挖掘数据建模/ 存储数据传输数据融合数据可视化13254多数据源12.3%融多策略多输出目标43.9%可视化智能大数据开发平台Crab大数据融合引擎应用系统去重差关联Reg.exportimportproc1过滤temp.…预处理消息中间件数据存储S