基于Python的电商网站服装数据的爬取与分析_陈广智.pdfVIP

第３２卷　 第７期 计 算机 技 术 与发 展 Ｖｏｌ．３２　 Ｎｏ．７ ２０２２年７月 　 　 　 　 　 　 　 　 　 　 ＣＯＭＰＵＴＥＲＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ　 　 　 　 　 　 　 　 　 　 Ｊｕｌ．　 ２０２２ 基于Ｐｙｔｈｏｎ 的电商网站服装数据的爬取与分析 １ ２ １ １ １ 陈广智 ，曾　 霖 ，刘伴晨 ，曾天佑 ，魏欣欣 （１．郑州航空工业管理学院智能工程学院，河南郑州 ４５００４６； ２．贺州学院人工智能学院，广西贺州 ５４２８９９） 摘　 要：电商网站上蕴藏着大量有价值的信息，同时中国的纺织服装产业消费市场非常大，因此，对电商网站上服装数据 的爬取、分析非常有意义。 为及时准确地获取当前服装产品的流行趋势、消费热点，以便于商家精准投放产品、消费者更 理性消费，提出了针对电商网站服装数据的爬取算法ｆａｓｈｉｏｎＤａｔａＳｃｒａｐｅ。 该算法将服装商品文字描述信息与图片信息的爬 取相分离，具有一定的灵活性，同时能基于关键词爬取服装信息。 给出了算法的详细设计类图。 采用Ｐｙｔｈｏｎ语言实现了 该算法，其中主要使用了Ｒｅｑｕｅｓｔｓ和Ｂｅａｕｔｉｆｕｌ Ｓｏｕｐ库，并用ｌｘｍｌ作为ＨＴＭＬ解析器。 以“连衣裙女装新品”、“女装ｔ恤”和 “旗袍年轻版”为关键词分别爬取了相应的服装信息，对爬取结果和实际页面进行了人工对比，验证了算法的可行性和有 － 效性。 通过对爬取结果的商品描述分析、价格分析和图片的ｔ ＳＮＥ聚类可视化分析，进一步验证了电商网站服装数据爬 取的意义。 － 关键词：电商网站；服装数据；网络爬取；数据分析；ｔ ＳＮＥ聚类 － － － 中图分类号：ＴＰ３１１　 　 　 　 　 　 　 文献标识码：Ａ　 　 　 　 　 　 文章编号：１６７３ ６２９Ｘ（２０２２）０７ ００４６ ０６ － ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３ ６２９Ｘ．２０２２．０７．００８ － Ｃｒａｗｌｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｃｌｏｔｈｉｎｇ Ｄａｔａ ｏｎ Ｅ ｃｏｍｍｅｒｃｅ Ｗｅｂｓｉｔｅｓ Ｂａｓｅｄ ｏｎ Ｐｙｔｈｏｎ １ ２ １ １ １ － － － － ＣＨＥＮ Ｇｕａｎｇ ｚｈｉ ，ＺＥＮＧ Ｌｉｎ ，ＬＩＵ Ｂａｎ ｃｈｅｎ ，ＺＥＮＧ Ｔｉａｎ ｙｏｕ ，ＷＥＩ Ｘｉｎ ｘｉｎ （１．Ｓｃｈｏｏｌ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｎｇｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｅｒｏｎａｕｔｉｃｓ，Ｚｈ