数据中心相关技术与应用.pptVIP

Hadoop在数据中心的应用场景-机器学习与数据挖掘、冷数据存储 Hadoop可以承载数据量较大、需要多次迭代关联、涉及数据对象较为单一的数据挖掘计算。Hadoop上开源数据挖掘分析专题工具有mahout和R，也可通过MR接口编程实现所需的挖掘算法，可以实现以下数据挖掘： 互联网内容分析专题：客户上网行为分析，关键词排序，爬虫，非结构化数据识别 WLAN运营分析专题：WLAN终端分析，WLAN位置分析，WLAN与GPRS关联分析，WLAN用户群分析 用户交友圈分析专题：用户个人语音交友圈分析，用户个人短信交友圈分析，交友圈特征分析 Hadoop可以承载历史性、访问频率较低的数据，存放在Hadoop上仍然能够实现通过Hive或者其他软件，实现类SQL或者其他API的数据访问。而在配置策略时，为了节省空间，可选择进行压缩、纠删码（HDFS Raid）或者降低副本个数，例如2。冷数据例如： 超过一定周期的（12个月以上）的详单信息。 上网日志信息和原始网页信息。 其他价值低、优先级低、数据量大的数据。 第十八页，共四十页。 Hadoop选型建议 产品包 基线版本 产品包 基线版本 Hadoop 2.0.0 HBase 0.94.6 Hive 0.10.0 Cloudera Impala 1.0 ZooKeeper 3.4.3 ? ? 总体来看，目前Apache Hadoop开