大数据平台及在推荐广告的应用.pptVIP

大数据平台及在推荐广告方面的应用

何为大数据

大数据平台架构数据存储实时离线FTPHDFSMRSqoopFumeNG数据采集数据处理存储层建模KafkaZookeeperStorm/SparkstreamingHbaseMysqlRedis数据可视化GangliaSparkNagiosOzzie监控管理调度特征工程机器学习算法库Mahout/MLlib应用搜索BI推荐广告分类/回归聚类主题预测LogServer商品库用户库用户行为非结构化结构化降维优化PUSHHIVESparksql离线实时

从Hadoop1.0到Yarn单点资源管理和调度分离资源划分:slot到container

从Hadoop到SparkInputIter.1Iter.2HadoopSpark

大数据生态圈onestacktorulethemallStorm流计算Impalad(Ad-hocquery/迭代)Hive/MR(批处理)Hadoop

crawler搜索引擎HBaseMQ1.writeLog2.write商品pic(insert/update/delete)3.indexLog4.finish(可靠)数据平台数据源Sdk(插件/App/b5m)爬虫LogserverMR/SparkYARN调度离线计算实时计算用户行为数据数据平台应用FlumeNGStormspark