大数据框架及应用39.pdf

前言    目前为止，很多企业在大数据上所做的事还很少，幸运的是，如果在2012年，企业还没有 重视大数据，那么落后得还不算很远，除非是在电子商务这样的行业（在这些行业，大数据分析 已经被标准化了）。然而再过几年，如果一家企业还没有分析大数据，那么就很难再赶上别的企 业了。    什么是真实的，什么是炒作？这些关注可能会使你怀疑大数据分析是一种炒作，而非真实 的东西。尽管在过去的几年曾经有不少被炒作的概念，然而就分析能力和处理海量数据而言，我 们确实处在一个转型的年代。大数据是下一波新数据源的浪潮，并会驱动分析在商业，政府及教 育界的下一次革新，这些革新将有可能快速改变企业审视他们自身的业务方式，大数据分析可以 促成更加明智的决策。      目录    前言  1  一、  大数据的内涵  4  (一)  什么是大数据  5  (二)  大数据有何不同  5  (三)  大数据的风险  6  (四)  大数据的结构  6  (五)  探索大数据  6  (六)  有效过滤大数据  7  (七)  今天的大数据将不再是明天的大数据  7  (八)  行业大数据面临的挑战  7  二、  大数据源有哪些  9  (一)  网络大数据  9  网络数据揭示了什么  9  (二)  文本数据  10  文本数据的用途  10  (三)  RFID数据  11  RFID数据的用途  11  (四)  社交网络数据  12  三、  大数据应用案例  13  (一)  互联网公司：Netflix  13  (二)  传统 IT公司：IBM  13  (三)  金融：Derwent基金  13  (四)  传统零售企业：沃尔玛  14  四、  大数据处理的架构（流程） 15  (一)  大数据处理的架构  15  (二)  大数据处理的流程  16  1)  大数据处理流程之‐‐采集  16  2)  大数据处理流程之‐‐统计分析  17  3)  大数据处理流程之‐‐挖掘  18  五、  大数据常用的算法与数据结构  20  (一)  布隆过滤器（Bloom Filter）  20  (二)  跳跃表  20  (三)  LSM树  21  (四)  Merkle哈希树  21  (五)  Snappy与 LZSS算法  22  (六)  Cuckoo哈希  22  六、  大数据的计算模型  23  (一)  MapReduce模型  23  1)  计算模型  23  2)  实例：单词统计  23  3)  系统架构  24  4)  MapReduce计算的特点及不足  25  (二)  DAG模型  26  1)  DAG计算系统的三层结构  26  2)  Dryad整体架构  26  (三)  流式计算  27  系统架构  28  七、  大数据处理工具  30  (一)  Hadoop  30  (二)  HPCC  30  (三)  Storm  31  (四)  Apache Drill  32  (五)  RapidMiner  32  (六)  Pentaho BI  33  八、  南方平台与大数据的结合  错误!未定义书签。  (一)  南方平台