项目二 电商数据的采集及处理.pptxVIP

项目二电商数据的采集及处理;任务目标

知识目标

1.熟悉数据的采集过程

2.掌握数据采集的原则

3.掌握各类数据的采集渠道

能力目标

1.能从网络中采集各种数据，并将其录入到Excel工作表中

2.能使用生意参谋和八爪鱼采集器采集各种电商数据;一、数据采集的概念

数据采集也叫作数据获取，是指通过在平台源程序中预设工具或程序代码，获取商品状态变化、资金状态变化、流量状态变化、客户行为和信息等数据内容的过程，为后续进行数据分析提供数据准备。数据源是数据分析的基础，准确的数据源是管理者的决策保证。因此，数据采集的准确性直接关系到数据分析结果的价值。

在大数据环境下，电商平台中的数据是公开的、共享的。通过采集与整理，可以将大量离散的数据有目的地整合在一起，从而发现隐藏在数据背后的秘密。;二、数据采集的原则

在进行电子商务数据采集的过程中，只有及时、有效且准确的数据才能分析出对电子商务运营和决策有帮助的结果。

1.及时性

进行数据采集时应尽可能地获取电子商务平台的最新数据。通过最新数据与往期数据的对比，才能更好地发现当前的问题并预测变化趋势。

2.有效性

在数据采集过程中，需要注意数据期限的有效性。;3.准确性

在数据分析过程中，不准确的数据会造成数据分析结果发生较大的偏差；而错误数据会导致截然相反的结论。因此，在进行数据采集时，必须确保所摘录的数据准确无误。

4.计划性

采集的数据既要满足当前需要，又要反映未来的发展。因此，数据分析人员既要广辟信息来源，又要长期、持续进行数据采集，提升计划性。

5.合法性

数据采集还需要注意合法性。;三、数据的采集渠道

1.内部数据渠道

内部数据主要是指在电子商务项目运营过程中，电子商务站点、店铺自身所产生的数据信息，如站点的访客数、浏览量、收藏量，商品的订单数量、订单信息、加购数量等数据。这些内部数据可通过电子商务站点、店铺后台或类似生意参谋、京东商智等数据分析工具获取。对于独立站点流量数据还可使用百度统计、友盟等工具进行统计采集。;2.外部数据渠道

在进行行业及竞争对??数据采集时，通常需要借助外部数据。在选择外部数据时，尤其需要注意的是数据的真实性和有效性。常用的外部数据渠道有以下几种。

（1）权威网站、数据机构

权威网站、数据机构发布的报告、白皮书等是分析行业及市场竞争情况的重要数据来源。常见的网站和数据机构有易观数据、艾瑞咨询等。下图所示为艾瑞咨询官网。这些平台提供的行业或行业龙头企业数据参考性较高，是重要的行业及企业数据采集渠道。;69;（2）电子商务平台

电子商务平台聚集了众多行业的卖家和买家，它不仅是商品交易的场所，也是电子商务数据产生的重要来源。

（3）指数工具

如百度指数、360趋势等工具依托平台海量客户行为数据，将相应的搜索数据趋势、需求图谱、客户画像等数据通过指数工具向用户公开。该类数据可为市场需求、客户需求和客户画像数据分析提供重要参考依据。;四、市场数据采集

市场数据分析的结果是决策者进行创投项目决策、制定发展战略的支撑和依据，而市场数据采集则是进行市场数据分析的前提，市场数据主要包括行业数据和竞争数据。

1.行业数据采集

（1）行业发展数据采集

行业发展数据分析通常会涉及行业总销售额、增长率等数据指标。行业发展数据来源主要是国家统计局、行业协会、数据公司发布的行业统计数据、行业调查报告等。;（2）市场需求数据采集

市场需求数据分析通常会涉及需求量变化、品牌偏好等数据指标。除可以通过行业调查报告获取外，还可以通过对客户搜索指数的变化趋势分析来把握客户的需求变化和品牌偏好。下图所示为手机品牌客户偏好的百度搜索指数。;2.竞争数据采集

竞争数据是指在电子商务业务中彼此存在竞争关系的商家、品牌、商品等各项运营数据的总称。进行竞争数据采集时，通常需要采集竞争对手店铺的商品结构、商品构成、畅销商品、商品销量、交易额、销售价格、客单价、活动信息、活动内容、活动周期、商品评价、服务政策、店铺流量、推广渠道、搜索排名等数据。通过对以上竞争数据变化和规律的分析，运营者可以从中发现竞争对手的运维习惯、销售策略，从而制定更有针对性的营销方案、运营策略。;进行竞争数据采集可以借助一些工具，如采集淘宝、天猫平台的竞争对手数据可以采用八爪鱼采集器等数据采集工具。但由于平台规则不断变化，受规则限制，经常会遇到历史数据无法采集或采集异常的情况；竞争对手策划的营销活动内容，通常也无法使用数据采集工具来采集数据。因此，最有效的方法就是对竞争对手进行数据监控，制作竞争对手数据采集表，见下表。;75;五、运营数据采集

运营数据通常包含客户数据、推广数据、销售数据等内容，具体采集内容视数据分析的目的而定。

1.客户数据采集

客户数据采集是根据企业各部门对于客户数据的需求，通