存储计算应用的三层平台服务架构探索(1).pptxVIP

存储计算应用的三层平台服务架构探索 目 录 1服务化的必要性2数据平台服务化的理论实践3从服务化到云化的理论实践服务场景：个性化推荐 消费者 用户行为 电商营销目标百分点?推荐引擎用户全网行为偏好用户当前购物需求客户行业运营规则 个性化推荐算法 输出个性化推荐结果服务化的必要性 ——从一枝独秀到遍地开花微信商城 个性化 系统电子商城 个性化 系统移动商城 个性化 系统媒体网站 个性化 系统个性化推荐引擎（BRE） 数据清洗 业务数据清洗系统 用户行为数据清洗系统互联网公开数据清洗系统 数据标准化用户多重ID归一化系统 商品归一化系统 数据采集 业务数据汇集用户行为埋点采集 互联网数据抓取 结果输出 用户标签商品标签(文本) 点击率模型 协同过滤结果 关联规则结果数据平台安全监 计算资源管控（YARN自动+工单手动）增量计算进程 SQL类 存储层控(自认动证配MapReduce+HQL其他计算方式化置权Zookeeper运及限维报警ACL )HDFS(全量数据)Kafka(汇聚分发)Redis(活动数据)Solr(索引数据)服务化的必要性 ——从一枝独秀到遍地开花微信商城 个性化 系统电子商城 个性化 系统移动商城 个性化 系统媒体网站 个性化 系统在线营销支持系统门店营销支持系统会员营销支持系统全网市场监控系统用户洞察 系统舆情管家商情管家…… 个性化推荐引擎（BRE） 数据采集