面向online-to-offline智能商务的大数据挖掘与应用，曹杰.pptxVIP

面向Online-to-Offline智能商务的大数据融合与应用汇报人：曹 杰南京财经大学 信息工程学院电子商务交易技术国家地方联合工程实验室国家级电子商务信息处理国际联合研究中心江苏省电子商务重点实验室线上线下数据采集研究背景与架构01异质大数据融合020305报告提纲结束语轨迹大数据分析0604智能商务应用01引言研究背景1/1线上电商企业与线下零售企业正互相渗透融合，Online-to-Offline (O2O)已经成为极具前景的电子商务新兴发展模式。 京东以43亿元战略入股永辉超市，获取永辉10%的股份 阿里以283亿元战略入股苏宁云商，以19.99%的占股成为苏宁第二大股东线上电商企业正在积极寻求线下实体店资源。线下零售商也正在寻求与线上电商企业在业务、战略、资本等多个层面合作。线上线下数据中的潜在价值尚未得到充分挖掘线上线下多渠道中的数据未能有效打通线上线下多渠道知识融合方法更是极度匮乏多源异构大数据存储与计算基础支撑薄弱缺乏O2O典型实例化智能应用示范研究意义1/2长期与苏宁保持紧密合作联合承担科技部支撑计划项目联合获批发改委国家地方联合工程实验室联合获得教育部科技进步二等奖2012年2016年2015年O2O 模式下商务大数据分析中存在如下问题多源异构商务大数据的结构化描述、语义关联和提取、及不一致性消除等基础问题有待更深入的研究线下数据挖掘方法对大数据的适应能力、及对O2O商务特定场景的适应能力有待付出研究努力O2O模式中知识碎片化严重，线上线下多渠道知识融合方法亟需进行系统化研究多源异构大数据存储和计算基础支撑策略有待提出完整解决方案，缺乏O2O典型实例化智能应用示范研究范围1/3异构数据类型结构化交易数据轨迹数据、日志数据用户生成内容、文本数据网络结构……研究范围数据层面：多源异构商务大数据的信息融合策略模型层面：轨迹大数据的挖掘模型与算法应用层面：O2O智能应用驱动的大数据知识融合系统层面：平台构建及其在苏宁云商的实例化应用Wifi覆盖，采集线下轨迹数据，与移动端关联用户关系交易数据商品信息用户评论PC端日志国内外研究现状1/4轨迹数据预处理协同过滤数据和信息融合知识融合噪声过滤驻留点检测轨迹分割轨迹压缩路网匹配结构化数据：中间件、数据仓库、及本体方法非结构化数据：基于领域本体或通用本体方法，使用RDF、OWL或其他语言描述数据K近邻模型矩阵降维社会化协同过滤局部挖掘+组合学习基于机器学习的模型层面融合：MIL、MLL、MIML等时间序列推荐①从数据融合到知识融合轨迹查询使用用户交易序列引入智能终端采集的时空轨迹数据② 轨迹数据挖掘与语义标注 ③用户兴趣建模与推荐系统区域查询最近邻查询轨迹索引群体推荐轨迹模式挖掘④ 大数据存储与计算频繁模式挖掘轨迹聚类伴行模式挖掘周期模式挖掘群体偏好聚合：一致性和差异性群体行为分析大数据存储管理模型大数据计算模型支撑的管理应用轨迹语义标注NoSQL技术：键/值、列存储；支持文本、图数据类型NoSQL索引：文本数据索引、分布式索引技术等磁盘计算MapReduce迭代计算BSP内存计算Spark流式计算Storm客户群细分精准营销广告投放售前产品感知新产品服务设计包括区域、路段、及位置标注分层、推理、学习研究目标1/5总体研究目标：以O2O电子商务决策支持为导向，构建O2O商务大数据融合框架，突破轨迹大数据挖掘方法，深入研究支持O2O一体化的多渠道知识融合方法，并在此基础上构建O2O商务大数据分析平台，并在苏宁云商打造有显示度的实例化应用。研究多源异构大数据的结构化描述、语义关联和提取、及不一致性消除等基础问题，为后续的大数据挖掘提供底层支撑；A对O2O商务中最重要的数据类型——轨迹大数据的挖掘模型展开系统化研究，为有效融合线下实体店监测信息提供模型支撑；B围绕O2O商务应用中的关键因素——用户行为，以推荐系统和广告精准投放应用为靶点，从个体和群体两个层面，探索大数据知识融合方法，为O2O新型商务应用提供理论和算法支撑；C从理论研究转向系统及应用建设，设计并开发建O2O商务大数据分析平台，利用大数据分析促进苏宁云商的O2O战略实施，在实践中验证理论研究的可用性和有效性。D总体研究框架1/6研究点四：智能商务应用代表性轨迹推荐兴趣点推荐恶意用户检测业态融合研究点三：轨迹大数据分析知识融合空间点组合排序相似轨迹挖掘异质大数据聚类数据预处理研究点二：异质大数据融合数据融合线下轨迹数据采集线上数据爬取研究点一：线上线下数据采集研究进展1/7在多个研究方向取得了较为显著的进展，具体如下线上线下数据采集异质大数据融合线上平台数据爬取第三方社交平台数据主要通过网络爬虫收集，为解决海量数据的爬取效率问题，研发了基于Docker的分布式Scrapy爬虫，数据获取速率高达4000条/分钟，