函数输入输出说明-51ctocom.ppt

Hadoop Hadoop 现实生活中的一些问题-数据篇 现实生活中的一些问题-解决方案篇 Hadoop背景 Hadoop是什么 Hadoop能解决什么 HDFS Map/Reduce 现实生活中的一些问题-数据篇 纽约证券交易所每天产生1TB的交易数据 社交网站facebook的主机存储着约10亿张照片，占据PB级存储空间 互联网档案馆存储着约2PB数据，并以每月至少20TB的速度增长。 瑞士日内瓦附近的大型强子对撞机每年产生约15PB的数据。 这样的数据该怎么存储和读取？如何进行分析？如何高效的进行分析？ 传统的BI分析是否还能适应这样当量的数据分析？BI跟大数据有什么区别？ 现实生活中的一些问题-数据篇 传统的BI分析是否还能适应这样当量的数据分析？BI跟大数据有什么区别？ 众所周知，BI之前采集的数据大多来自ERP、CRM等，基本都是格式化的数据，但大数据采集的数据种类远超过往，是非结构化的数据，这就要求数据处理技术在分析、算法上做出极大的改变，已经不能依赖传统的BI工具。 其实，BI和大数据都要构建数据仓库、分析系统，之后进行数据挖掘，实现数据呈现，运行机理和技术结构是一致的。但与BI不同，大数据处理的是杂乱的、非结构化的数据，大数据有自己的数据分析工具，建模要比BI复杂很多，数据呈现也不只是通过报表方式，所以大数据的内涵更复杂厚