大数据在B2C电商中的应用32.pptVIP

大数据在B2C电商中的应用 ——张昊 旅游事业部 频道组 举例 2 … 大数据相关应用 3 用户行为分析 价格预测 推荐系统 评分预测问题 流量分析 供应链管理 实时定制报表 广告精准投放 行业信息监控 评论挖掘分析 传播热点分析 销量预测 CRM 社会化图谱挖掘 LBS 推荐系统 4 流程架构 推荐系统 5 推荐系统 6 推荐算法简介 推荐系统 7 协同过滤算法 ——基于商品/用户间的相似度 User based CF Item based CF 余弦距离 Jaccard距离 欧氏距离 海明距离 User based CF Item based CF 推荐系统 8 典型应用 新闻推荐 电子商务、图书/电影推荐 推荐原理 有共同爱好的用户喜欢 与用户之前喜欢的物品类似 推荐结果 小群体的热点 用户的兴趣传承 个性化要求 不太明显 强烈 内容数量 多 较少 更新速度 快 较慢 适用领域 时效性强、个性化不明显 长尾丰富、个性化需求强烈 举例 GroupLens、Digg Amazon、Netflix 用户的新行为 推荐结果不一定立即变化 推荐结果实时变化 推荐解释 难 容易以历史行为解释 协同过滤算法 推荐系统 9 奇异值分解 ——探索相似度背后隐含根源 分类1 分类2 分类3 兴趣1 XXX XXX XXX 兴趣2 XXX XXX XXX 兴趣3 XXX XXX XXX 推荐系统 10 二分图模型 ——一个游走在用户和商品之间的爬虫 高相似性的判断标准： 两个顶点间有很多路径相连； 连接两个顶点间的路径长度都比较短； 连接两个顶点间的路径不会出现大的顶点； 推荐系统 11 算法总结 相似性判断 特征聚类 推荐系统 12 预测准确度 用户满意度 覆盖率 多样性 新颖性 惊喜度 信任度 实时性 健壮性 商业目标 系统评测 离线实验 （offline experiment) 用户调查 （user study） 在线实验 （online experiment） 推荐系统 新的挑战和方案—— 用户意图模糊情景下的多维度补充； 平台电商的店铺定向、季节定向； 反作弊问题； 考虑用户本身的权重和行为频度； 冷启动问题； 用户疲劳； 　　…… 13 评论挖掘 14 评论挖掘 15 　　“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。　 　　喜欢作者说的知道“是什么”就够了，没必要知道“为什么”这个理论。奥伦*埃奇奥尼因为自己买到了比同一架飞机乘客贵的机票而非常气愤，因此他创造了最早的互联网搜索引擎。且不说这个引擎的后续，至少埃奇奥尼创立的预测系统帮助乘客节省了很多钱。我们不需要知道机票为什么涨或者跌，我们只想着用最少的钱去买到同样的机票，如此，这样有预见性的数据库就是起到了重要的作用。而在其他领域上，同样的可以用这样的大数据的思维方式去思考。数据不是静止不动的，需要有变革的思维去看它。而现在的数据已经成了一种商业资本，可以创造新的经济利益。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。基本上，人们比以往任何时候都与数据或信息交互。 谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，…… 相关度分析 自然语言处理 这个商品不错~ 评论挖掘 16 TF1*IDF1+ TF2*IDF2 +…+ TFN*IDFN TF——词频：关键词在文本中出现的频率 IDF——逆文本频率指数log（D/DW）：关键词在所有文本集中出现的频率越高，IDF越低 e.g. “原子能”“的”“应用” TF：0.002、0.035、0.005 IDF：8.96、0、1 TF*IDF ——文本与关键词相关度的科学度量 评论挖掘 大数据+自然语言处理技术（NLP） 17 文本相关度 评论信息量 评论情感 分词消歧 互信息特征筛选 主题LDA 情感分析 特征词聚类 词性标注 向量空间模型 TF*IDF 评论挖掘 18 （当当网）评论挖掘A/B测试结果： 顾客体验提升； 购买决策时间变短； 点击评论次数减少； 页面停留时间降低； 转化率提升； 全年贡献过亿； 评论挖掘 19 评分预测问题 20 ——4分 ——3分 ——5分 预测 评分预测问题 21 常用算法： 基于平均值； 基于相似物品； 隐语义与矩阵分解模型； 算法融合； …… 历史销量 价格 产品季节性 产品浏览量 竞争对手情况 产品曝光率 营销推广 产品评论 供应商质量