大数据工具概览(新)技术方案.ppt

hadoop数据仓库系统 使用SQL来编写Hadoop任务 延迟较高，不能替代实时数据库 展现工具 展现工具 Processing / D3.js / Fusion Tables /fusiontables/Home/ 图形编程语言 积累了大量的库，示例和文档 processing.js: processing的js实现 d3.js javascript框架，前身为Protovis 包含了全量的易用可视化组件 提供高层次接口 Fusion Tables 提供类似电子表格的在线数据存储 根据地理信息可视化数据 数据挖掘工具 数据挖掘工具 Mahout / scikits.learn /stable/ 通用机器学习算法在海量数据之上运行 绝大部分代码是基于Hadoop编写的分布式作业 内嵌了很多算法来实现通常的任务，比如聚类、分类、基于用户行为的物品推荐，识别频繁共现的属性 python机器学习工具 标准机器学习技术的高层接口 实验和快速原型实现 处理 收集 计算 展现 挖掘 大数据处理的一般过程 抽取 抓取 索引 查询 数据分析 搜索 昭远 微博：@calio 邮箱：vipcalio@ github: calio Thank You! 大数据工具概览 昭远 @calio 我是谁？ 微博：@calio 邮箱：vipcalio@ github: calio 处理 收集 计算 展现