大数据工具概览.pptxVIP

;我是谁？;处理;我们的产品;我们的做法;收集工具;收集工具;Needlebase?;编写代码来自动化抓取公共网站 支持ruby，python，php 社区特性：有很多别人写好的开放程序;处理工具;Hadoop / Google MapReduce架构的克隆，最初由Doug Cutting开发，Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈;计算工具;计算工具;开源的关系型数据库管理系统 成熟的系统，相关资料较多 在大数据环境下需要做sharding;Hadoop / Google MapReduce架构的克隆，最初由Doug Cutting开发，Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈;开源版本的Google BigTable 底层使用HDFS存储 与hadoop完美结合 多客户端分布式访问;hadoop数据仓库系统 使用SQL来编写Hadoop任务 延迟较高，不能替代实时数据库;展现工具;展现工具;图形编程语言 积累了大量的库，示例和文档 processing.js: processing的js实现;d3.js;Fusion Tables;;数据挖掘工具;数据挖掘工具;通用机器学习算法在海量数据之上运行 绝大部分代码是基于Hadoop编写的分布式作业 内嵌了很多算法来实现通常的任务，比如聚类、分类、基于用户行为的物品推荐，识