Python商品数据预处理与K-Means聚类可视化分析.pdfVIP

PPyytthhoonn商商品品数数据据预预处处理理与与KK--MMeeaannss聚聚类类可可视视化化分分析析 数数据据提提取取 在我 前的⽂章Scrapy ⾃动爬取商品数据爬⾍⾥实现了爬⾍爬取商品⽹站搜索关键词为python的书籍商品，爬取到了60多页⽹页的1260本 python书籍商品的书名，价格，评论数和商品链接，并将所有商品数据存储到本地的.j son⽂件中。 数据存储格式如下 ： 爬⾍爬取到的商品数据 接下来对爬取到的商品数据作预处理及可视化分析，使⽤⼯具为Anaconda的Jupyter notebook和python3.6环境。 ⾸先⽤python将爬取到的数据输出为.csv⽂件，⽅便观察和保存再利⽤。观察第 1260个数据可以发现价格格式为 “￥46.60”，评论数格式 为 “301条评论”，都为字符串格式，要先分别转换为数字格式 “46.60”和 “301”以⽅便处理。 import json import csv import numpy as npy import pandas as pda #读取.json⽂件 dic=[] f = open(D:/python/.../getdata.json, r ,encoding= utf-8 )#这⾥为.json⽂件路径 for line in f.readlines(): dic.append(json.loads(line)) #对爬取到的数据作处理，将价格和评论数由字符串处理为数字 tmp= name,price,comnum,link=[] for i in range(0,1260): dic[i][ price ]=tmp + dic[i][ price ][1:] dic[i][ comnum ]=dic[i][ comnum ][:-3]+tmp price.append(float(dic[i][ price ])) comnum.append(int(dic[i][ comnum ])) name.append(dic[i][ name ]) link.append(dic[i][ link ]) data = numpy.array([name,price,comnum,link]).T print (data) 这⾥将爬取的数据都作处理后，转换为python科学计算库的numpy.array格式,data输出结果如下 ： print(data) 然后将data存储为.csv⽂件 #要存储.csv⽂件的路径 csvFile = open( D:/python/.../csvFile.csv ,w ) w riter = csv.w riter(csvFile) w riter.w riterow ([ name , price , comnum , link ]) for i in range(0,1260): w riter.w riterow (data[i]) csvFile.close() 现在可以打开该路径下的.csv⽂件，已存储为如下格式： .csv⽂件 当然可以在Scrapy爬⾍项 ⽬中修改pipelines.py⽂件，爬取到数据后直接输出为.csv⽂件保存⾄本地，以相同⽅式改动添加上⾯的代码即可，这 ⾥因为爬取到的数据并不直接可⽤，为⽅便分析处理先输出到了.j son⽂件。 数数据据清清洗洗 缺缺失失值值处处理理 ⾸先⽤数据分析处理库pandas读取.csv⽂件中的数据，存储为数据框格式。可以发现该数据中有许多书的评论数为0，所以⾸先要做数据清洗， 找到这些缺失值，这也是数据分析过程中很重要的⼀环。在数据分析过程中，对这些缺失数据有两种处理⽅式，可以⽤评论数的均值来填补，也可 以直接删除缺失数据，针对相应情况选择处理⽅式。 #读取.csv⽂件数据