[数据挖掘关联.docVIP

数据收集及处理? 数据描述： 本文的所采用的数据集来源于网络数据中心数据堂所提供的，来自主要电商平台：京东，淘宝，天猫，亚马逊，一号店的2013年10月20日至2013年10月22日的爽肤水交易信息。数据集主要分为3个部分，第一部分为各平台上爽肤水的交易记录，单日的交易数据包含了19203条交易记录，14个变量，变了包括商品ID，电商名称，日期，商品名称，商品URL，促销价，商品销量销售额，店铺名称，店铺等级，品牌功效，适合皮肤，容量，如图所示为在EXCEL中打开的京东在2013年10月20日的交易数据。第二部分为买家购买后的评价，单日包含925条的评论信息，6个变量，变量包含商品ID，购买时间，评论时间，昵称，评分，评论内容，如图所示就是2013年10月20日京东的评论信息。第三部分为品牌数据集，一共51990条数据，7个变量，包括类目，品牌，电商平台，平均价格，日总销量，对应商品ID。如图所示就是2013年10月20日所有电商平台的评判信息。 本论文所采用的数据全部来自于知名网络数据中心数据堂，具有相当的可信度。经过对数据的观察，为了使得研究过程能够更加方便，我们选择数据较为完整并且有序的自于京东平台的交易信息。由于本文目的是建立如何选择商品的模型，因此不会对结果造成影响。 数据初步处理： 本轮问所有的数据都采用SAS中SQL语言与EXCEL相结合进行处理。 先对对京东平台上爽肤水的交易记录进行处理。首先应该去掉与本文研究不相关的信息。由于电商名称，日期，店铺名称与本文研究目标不匹配，同时在京东平台上并没有店铺信息，商品名称内容包含于品牌名称等其他变量中。因此我们只选择其中的变量：商品ID，促销价，商品销量销售额，品牌功效，适合皮肤，容量。 将源数据导入SAS之后采用EM模块的InputData节点对销量变量进行描述性统计如图所示： 我们可以发现,其中大多数商品的销售额都为0，是因为这里仅仅采用3天的交易数据，所以大多都没有销量。因为没有销量的商品对本文的并无研究意义，因此我们只研究销售量大于0的商品。 采用SQL语言将3日的交易数据合并，并选取所需变量，并且将相同的商品进行合并。 Proc sql; CREATE table Homework.JD as select * FROM Homework.JINGD1 UNION ALL select * FROM Homework.JINGD2 UNION ALL select * FROM Homework.JINGD3; Proc sql; CREATE table Homework.JDNEW as select ID,PRICE,SUM(Q) as Q,SUM(INCOME) as INCOME, BRAND,EFFECT,SKIN,CAP from Homework.JD where Q0 GROUP BY ID; 处理后的结果在SAS中打开的部分内容如下： 为了使得变量能够满足分析的要求我们将利用EXCEL对数据进行预处理。 对于容量这一变量，格式为“500ml”或者“100ml + 10ml + 10ml” 因此我们采用两个变量来描述，CAP和COMB，CAP表示容量的大小，我们这里将100ml以下定为小瓶，300ml以下为中瓶，以上为大瓶。COMB为一个二元变量，1表示存在套装的情况，0则表示为单瓶。处理之后结果为： 对于功能这一变量，我们通过建立数据透视表查看结果。 EFFECT 汇总 NULL 22 保湿补水 687 保湿补水，控油平衡 17 保湿补水，控油平衡，美白祛斑 1 保湿补水，控油平衡，美白祛斑，细致毛孔 25 保湿补水，控油平衡，美白祛斑，细致毛孔，祛皱抗衰 8 保湿补水，控油平衡，美白祛斑，细致毛孔，深层清洁 2 保湿补水，控油平衡，美白祛斑，细致毛孔，深层清洁，祛皱抗衰 26 因此我们将采用一系列的二元变量E_