用Python对用户评论典型意见进行数据挖掘.pdfVIP

用Python对用户评论典型意见进行数据挖掘 用户体验的工作可以说是用户需求和用户认知的分析。而消费者的声音是 其中很重要的一环 ，它包含了用户对产品的评论 ，不管是好的坏的 ，都将 对我们产品的改进和迭代有帮助。另外任何事情都要考虑金钱成本和人力 成本 ，因此我希望能通过机器学习的算法来辅助分析 ，对用户的评论数据 进行提炼和洞察。 一、数据获取和清洗 现在爬虫泛滥 ，网络公开数据的获取并不 是一个难题。简单点可以利用 一些互联网的爬虫服务 （如神箭手、八爪鱼等 ），复杂点也可以自己写爬 虫。这里我们用爬虫来获取京东的评论数据。相对于亚马逊而言 ，京东比 较坑。第一个坑是京东的反爬虫还不错 ，通过正常产品网址进去的那个评 论列表是几乎爬不出数据来的 ，所有大部分网络爬虫服务都止步于此。第 二个坑是一款产品的评论数只要超过一万条 ，那么京东就只会显示前一千 条 ，没有公开的数据 ，那你爬虫技术再厉害也没办法 ，除非开着爬虫定时 增量更新数据。 自己写爬虫的好处就是可以避免掉进第一个坑 ，但是第二个坑没办法。这 里我爬取了 小米 MIX 和 小米 MIX2 的评论数据(最新的几款 我都爬 取了 ，需要的请戳后台) ，其中