大数据系列产品解决方案-医学课件.pptVIP

核心推荐引擎设计 说明： 整个推荐引擎在设计上依赖于整个数据平台的支撑； 场景引擎：场景引擎是整个推荐引擎的核心，它的作用是将用户行为抽象为与具体业务相关联的场景。也就是用场景来表征一个用户在具体业务下的需求； 规则引擎：规则引擎接受场景引擎中计算出来用户意图，向算法引擎请求需要推送的数据； 算法引擎：主要是实现各种推荐算法，把结果推向展示引擎进行前端展示； 展示引擎：数据前端展示； 基于商品的协同过滤算法 在全网用户数据库中遍历，寻找与用户N行为最相似的用户，并进行排序，如图所示：（彩色连线代表该用户购买、浏览、评论过这个商品） 如何为用户N推荐商品 … … A B C 0.45 0.3 0.4 0.35 + =0.65 按照蓝色路径计算，用户C和用户N的相似度为0.45，用户A与用户N的相似度为0.3 按照红色路径计算，用户B与用户N的相似度为0.4 、用户A与用户N的相似度为0.35 所有路径的相似度叠加之后， 用户A、用户B 、用户C与用户N 的相似度分别为0.65、0.4和0.45，因此A是最像 N 的用户 N 核心算法 　　在线流计算框架 框架流程： 数据暂存：Kafka作为日志传递中间件来接收日志，抓取客户端发送的流量日志，同时接受Spark Streaming的请求，将流量日志按序发送给Spark Streaming集群。 数据处理：Spark Streaming从Kafka集群中获取流量日志并进行处理。Spark Streaming会实时地从Kafka集群中获取数据并将其存储在内部的可用内存空间中。当每一个batch窗口到来时，便对这些数据进行处理。 结果存储：处理得到的结果将写入到数据库中 通用需求： 低延迟：实时计算系统 高性能：性能不高就是浪费机器 分布式：单机搞不定 可扩展：数据量、计算量大了怎么办？ 容错：一个节点挂了不能影响我的应用 Storm ： 实时统计、实时风控、实时推荐\个性化搜索实时 spark streaming 原理：Spark Streaming把输入数据按照batch size（如1秒）分成一段一段的数据，每一段数据都转换成Spark中的RDD 实时性：最小的0.5SBatch Size2S，而Storm=100ms 系统资源整合:更方便（对于我们来说）实时计算与离线计算相结； SPARK对算法模型支撑 推荐引擎模型算法 模型 常用算法 基于物品推荐 item—base?CF（冷启动、热启动） 基于用户推荐 user-base?CF（冷启动、热启动） 基于协同过滤推荐 Simarnk 基于模型推荐 Random Walk、pLSA、SVD、SVD++ 基于关联规则推荐 Apriori、AprioriTid、DHP、FP-tree 基于知识推荐 基于效用推荐 混合的推荐机制 加权的混合、切换的混合、分区的混合、分层的混合 相似度算法 K-neighborhoods、User-CF、Item-CF 显性反馈 ALS 隐性反馈 ALS 情景感知推荐 Context-Aware 相似度推荐 历史矩阵、共生矩阵、标识符矩阵 对历史购买客户－－推荐和关怀 客户画像 产品画像 客户 B购买第二年６月１日体系加雪种 C第三年 ６月１日 推荐新品空调 关联推荐 搭配推荐 １当浏览空调时 ２匹配客群 ３匹配产品群 ４推荐相关产品 红线：基于历史购买周期推荐－人口属性推荐 蓝色：基于相关推荐－产品属性推荐 绿线：基于行为的推荐－行为属性推荐 黄线：客户主动行为 A2010年买空调 重排序算法 协调过滤算法 个性化实时推荐 把低价值客户转化为高价值客户 根据点击行为数据－－进行个性化精准推荐 购买空调１P的群体 购买时尚卡通类群体 购买噪音少小的群体 购买负离子清风群体 购买自动智能功能群体 购买语音音乐功能群体 ……. 少女房用空调 群体营销 群组营销 个性个体营销 浏览点击行为数据 把消费者转化成购买客户 其他接触数据 　　　　　　　增加产品的销售量－－相关推荐和搭配推荐 关联推荐 { cookie_id: “1234512413243”, advertiser:{ apple: { actions: [ { impression: ‘ad1’, time: 123 }, { impression: ‘ad2’, time: 232 }, { click: ‘ad2’, time: 235 }, { add_to_cart: ‘laptop’, sku: ‘asdf23f’, time: 254 },