网站大量收购闲置独家精品文档,联系QQ:2885784924

大数据分析工具有哪些 .pdfVIP

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

大数据分析工具有哪些

大数据分析工具有哪些

大数据分析Storm:ApacheStorm是一种开源的分布式实时计算系

统。Storm加速了流数据处理的过程,为Hadoop批处理提供实时数

据处理。

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台,

运行速度相比于HadoopMapReduce更快。Spark适合机器学习以及

交互式数据查询工作,包含Scala、Python和JavaAPI,这更有利

于开发人员使用。

Twitter流处理工具Summingbird:与Storm和Scalding相似,

开发者可以使用非常接近原生的Scala或者Java在Summingbird上

执行MapReduce作业。

AWSKinesis:AmazonKinesis是一种实时数据流处理管理服务。

它可以收集和处理来自不同数据源的数据,允许开发者编写可处理

实时信息的应用程序,来源网站click-streams、营销和财务信息、

制造工具和社交媒体,和操作日志和计量数据。

DataTorrent:DataTorrent是实时流媒体平台,可使企业执行

数据处理或转换结构化与非结构化数据、实时数据流到数据中心。

该产品主要利用Hadoop2.0和YARN技术。

SpringXD:通过任意数量的处理器,SpringXD架构支持事件驱

动的数据流摄入。流是由Spring集成适配器支持。

SQLStream:SQLStream为流媒体分析、可视化和机器数据持续集

成提供了一个分布式流处理平台。大数据(Hadoop)即服务

ElasticMapReduce:AmazonElasticMapReduce(亚马逊EMR)是一个

web服务,提供大量数据处理。通过一个大小可调整的AmazonEC2

实例集群,EMR使用Hadoop来分配并处理数据。

Qubole:Qubote的大数据服务提供Hadoop集群内置数据连接器

和大数据项目图形编辑器。

Mortar:Mortar是一个通用的大规模科学数据平台。它建立在

AmazonWeb服务云,使用弹性MapReduce(EMR)启动Hadoop集群并处

理大型数据集。Mortar可运行ApachePig,这是一个构建在Hadoop

上的数据流语言。此外,Mortar还可运行Hadoop]、Pig、Java、

Python和Luigi等,让用户专注于研究科学数据,无需担心IT基

础设施。

Rackspace:RackspaceHadoop集群可运行HadoopRackspace托管

专用服务器,自旋向上Hadoop公共云,或配置自己的私有云。

Joyent:JoyentHadoop是一个基于ApacheHadoop项目大数据托

管环境云的解决方案。提供数据存储服务获取、分析和访问任何数

据格式、数据管理服务以处理、监控和运行Hadoop及数据平台服务

安全、存档和规模一致的可用性。

Google:Hadoop在谷歌的云平台上使用开源的ApacheHadoop谷

歌计算引擎的虚拟机。SQL-in-Hadoop解决方案

ApacheHive:ApacheHive优化了大型数据集分布式存储的查询和管

理过程。Mapreduce开发者也可以插入自定义映射器和还原剂。

Impala:Cloudera的Impala是一个开源的大规模并行处理

(MPP)SQL查询引擎,运行在ApacheHadoop。用户可直接查询存储在

HDFS和ApacheHBase的数据,无需进行数据迁移或转换。

Shark:Shark是一种与ApacheHive兼容的Spark数据仓库系统。

Shark支持Hive查询语言、metastore、序列化格式和用户自定义

函数。

SparkSQL:SparkSQL的前身是shark。在hadoop发展过程中,为

了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的

工具,hive应运而生,是当时唯一运行在hadoop上的SQL-on-

Hadoop工具。但是,MapReduce计算过程中大量的中间磁盘落地过

程消耗了大量的I/O,降低的运行效率,为了提高SQL-on-Hadoop

文档评论(0)

187****9391 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档