大数据平台跟在推荐广告的运用20.pptVIP

大数据平台及 在推荐广告方面的应用 何为大数据 大数据平台架构 FTP HDFS MR Sqoop FumeNG 数据采集 数据处理存储层 建模 Kafka Hbase Mysql Redis 数据可视化 Ganglia Spark Nagios Ozzie 监控管理 调度 特征工程 应用 搜索 BI 推荐 广告 分类/回归 聚类 主题 预测 Log Server 商品库 用户库 用户行为 非结构化 结构化 降维 优化 PUSH HIVE Spark sql 离线 实时 从Hadoop1.0到Yarn 单点 资源管理和调度分离 资源划分：slot到container 从Hadoop到Spark Input Iter.1 Iter.2 Hadoop Spark 大数据生态圈 one stack to rule them all Storm 流计算 Impalad (Ad-hoc query/迭代) Hive/MR (批处理) Hadoop crawler 搜索引擎 HBase MQ 1、writeLog 2、write商品pic(insert/update/delete) 3、index Log 4、finish(可靠) 数据平台 数据源 Sdk(插件/App/b5m) 爬虫 Log server MR/Spark YARN 调度 离线计算 实时计算 用户行为 数据 数据