Oral海量数据处理之表分区.pptVIP

大数据学习小结 什么叫大数据 大数据（big data），是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 特征 Volume（大量） Velocity（高速） Variety（多样） Value（价值） 为什么要研究大数据 著名的例子：啤酒喝尿布 全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。 身边的经典例子 个人上网，购物推荐提示 大数据分析技术 Apache Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。 Hadoop的框架最核心的设计就是：