大数据工具概览(新).pptVIP

hadoop数据仓库系统 使用SQL来编写Hadoop任务 延迟较高，不能替代实时数据库 展现工具 展现工具 Processing / D3.js / Fusion Tables /fusiontables/Home/ 图形编程语言 积累了大量的库，示例和文档 processing.js: processing的js实现 d3.js javascript框架，前身为Protovis 包含了全量的易用可视化组件 提供高层次接口 Fusion Tables 提供类似电子表格的在线数据存储 根据地理信息可视化数据 数据挖掘工具 数据挖掘工具 Mahout / scikits.learn /stable/ 通用机器学习算法在海量数据之上运行 绝大部分代码是基于Hadoop编写的分布式作业 内嵌了很多算法来实现通常的任务，比如聚类、分类、基于用户行为的物品推荐，识别频繁共现的属性 python机器学习工具 标准机器学习技术的高层接口 实验和快速原型实现 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 搜索 昭远 微博：@calio 邮箱：vipcalio@ github: calio Thank You! 大数据工具概览 昭远 @calio 我是谁？ 微博：@calio 邮箱：vipcalio@ github: calio 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 搜索 我们的产品 我们的做法 收集：网页埋点+web server日志收集 处理：自定义的ETL脚本 计算：hadoop+实时处理引擎+mysql 挖掘：自定义的hadoop任务 展现：amcharts 收集工具 收集工具 Needlebase / ScraperWiki / Needlebase? 从多种数据源获取数据（网页，xml，csv文件） 合并，复制和清洗数据 生成自定义视图 编写代码来自动化抓取公共网站 支持ruby，python，php 社区特性：有很多别人写好的开放程序 处理工具 Hadoop / Google MapReduce架构的克隆，最初由Doug Cutting开发，Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 计算工具 计算工具 Mysql / Hadoop / HBase / Hive / 开源的关系型数据库管理系统 成熟的系统，相关资料较多 在大数据环境下需要做sharding Hadoop / Google MapReduce架构的克隆，最初由Doug Cutting开发，Yahoo!是最大的贡献者 运行在跨机器的集群上 巨大的相关工具生态圈 开源版本的Google BigTable 底层使用HDFS存储 与hadoop完美结合 多客户端分布式访问