大数据营销PPT第3章 营销大数据采集及预处理.pptx

第3章 营销大数据采集及预处理 中国人民大学出版社 本章内容 第1节 数据采集 第2节 数据预处理 学习目标 了解大数据的类型和数据来源 了解数据采集过程，培育正确的信息隐私观 了解大数据采集方法 掌握数据预处理的方法，以及每种方法对应处理的问题类型 导入案例 喜茶：“私域流量”时代的数字化奶茶 2020年3月初小程序下单比2月同期增长774%，创下了线上销售新高。这一切，主要归功于“数字化”与“私域流量”。 在用户分析上，喜茶利用会员数据可以进行精准的用户喜好评估。挖掘出用户的细分需求，就能获取产品研发的灵感，推出更贴近用户的独特的新品。 通过自动化推荐，喜茶让营销更个性化和定制化。自动化的千人千面营销，不仅可灵活控制库存，还能有效提高销量，提升用户的使用体验，第一时间把需要的信息与产品呈现在用户面前。 喜茶利用大数据为创意营销策略提供方向性指导，不断实践着跨界联名、社区活动等新鲜玩法。这背后，其实也依靠会员系统数据的支撑。 本章知识结构 数据类型 数据来源 数据预处理 营销数据采集及预处理 数据采集方法 结构化数据、非结构化数据、半结构化数据 搜索引擎、电子商务平台、社交媒体平台 系统日志、感知设备、网络爬虫、市场调查 数据清洗、数据集成、数据变换、数据归约 数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题 一、数据类型 第1节 数据采集 数据 预处理 数据采集 结构化数据 结构化数据是指关系模型数据，即以关系数据库形式管理的数据，可计算、可查询、可定义。结构化数据能够形式化存储在数据库里，可以用二维表结构来表示，它被归类为定量数据。 非结构化数据 非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不便于用数据库二维逻辑表来表现的数据，在技术上比结构化信息更难标准化和理解。 半结构化数据 半结构化数据是介于完全结构化数据和完全无结构数据之间的一种结构化数据形式。因其比较特殊，所以单独列出来，但本质还是结构化数据。半结构化数据是非关系模型的、有基本固定结构模式的数据。 数据三大 类型 数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题 二、数据来源 第1节 数据采集 数据 预处理 数据采集 数据来源  搜索引擎 搜索数据和网站的点击浏览数据来源于搜索引擎，搜索平台拥有庞大的用户行为数据。利用点击和浏览数据对消费者进行分析，可以找到用户的关注点、兴趣点，利用这些信息，企业可以对用户进行个性化推送，精准营销，极大提高了广告的效率。 电子商务平台 商品的搜索数据、浏览数据、交易数据、评价数据以及对应的用户数据来源于电子商务平台。通过对商业大数据的分析，能够更直接地了解消费者的动态。通过用户的点评数据，企业能够分析出用户满意或者不满意的地方，这些因素就是企业存在的优势和劣势。收集、分析用户的点评数据还有一个重要之处就是倾听用户的意见、了解用户的真实需求。 半结构化数据 用户属性标签、用户生成内容（UGC）、用户间社交网络数据来源于社交媒体平台。通过对社交网络的研究，企业可以跟踪信息传播路径。基于用户的行为和属性标签，可以生成用户画像，从而了解用户喜好，企业根据分析结果来开展精准营销。 数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题 三、数据采集方法 第1节 数据采集 数据 预处理 数据采集 系统日志 系统日志数据采集主要是收集公司业务平台日常产生的大量日志数据，供离线和在线大数据分析系统使用。很多互联网企业都有自己的海量数据采集工具用于系统日志采集，如Hadoop公司的Chukwa，Cloudera公司的Flume，以及Facebook公司的Scribe等。这些工具均采用分布式架构，能满足每秒数百兆字节的日志数据采集和传输需求。 数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题 三、数据采集方法 第1节 数据采集 数据 预处理 数据采集 感知设备 感知设备数据采集是指通过传感器、摄像头和其它智能终端自动采集信号、图片或录像来获取数据。在智能制造、可穿戴设备、物联网愈发普及的今天，高速、可靠的数据采集技术是当前需要重点突破的方向。科技快速发展，技术创新给大数据采集提供了新的方法，比如基于眼动(EM)、脑电图(EEG)、事件相关电位(ERP)、皮肤电反应(GSR)、肌电(EMG)、心电图(ECG)等前沿科技来采集数据。通过感知设备对生物数据进行采集的方式在广告、消费者评论领域均有很强的应用价值，逐渐成为营销领域研究者的“新宠”。 数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题 三、数据采集方法 第1节 数据采集 数据 预处理 数据采集 网络爬虫 网络爬虫是指按照一定规则在搜索引擎下载并存储网页的程序或脚本，又被称为网页蜘蛛、网络机器人。传统爬虫从获得一个或若干初始网页