基于数据挖掘的电子商务产品质量风险评估技术研究-计算机技术专业论文.docxVIP

万 万方数据 学位论文版权使用授权书 本学位论文作者完全了解浙江理工大学有权保留并向国家有关 部门或机构送交本论文的复印件和磁盘?允许论文被查阅和借阅。 本人授权浙江理工大学可以将学位论文的全部或部分内容编入有关 数据库进行检索和传播?可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。 (保密的学位论文在解密后适用本授权书) 学位论文作者签名: 在p -IY/ 签字日期 :l，.o/ 年 1 月， 日 导师签名 :6 签字日期 :..:;t{) 1年 5 月 10 日 浙江理工大学硕士学位论文基于数据挖掘的电子商务产 浙江理工大学硕士学位论文 基于数据挖掘的电子商务产品质量风险评估技术研究 摘要 随着网络技术和信息技术的发展，互联网不可阻挡地进入了人们的生活，并且改变了 人们的生活方式。但由于电子商务的虚拟性、跨地域性，消费者所购买的产品可能会存在 质量风险。针对该问题，本文在前人的研究基础上，提出了基于电子商务平台的用户评论 数据的风险评估模型，该模型可以准确地识别风险，评估风险等级，发布相应的预警信息， 使得监管人员对风险做出快速的应对措施。如何客观的评估产品质量的风险，使得监管机 构对其做出快速的反应是本文的研究重点。本文主要研究了以下几个方面： 本文对电商产品数据通过 R 语言的数据处理技术对数据进行空值和异常值处理以及使 用基于 Spark 并行化 ansj 的 jar 包对数据集进行中文的文本分词和去停用词处理，从而得 到预处理后的训练数据。然后在随机森林的袋外数据的特征属性中加入噪声，并将计算所 得到误差进行重要性排序，以此来进行电子商务产品质量风险评估的特征选择，并在 Spark 计算框架上实现。 在电子商务产品质量的风险评估中，提出了一种基于 Spark 并行化的改进朴素贝叶斯 算法来建立风险模型。朴素贝叶斯算法是假设特征之间相互独立，然而在实际中，它们之 间是息息相关的，所以利用 MinHash 来计算特征属性与决策标签之间关联程度，对贝叶斯 算法中的条件概率进行加权运算，并在 Spark 实现算法的并行化。 本文通过构建基于 Spark 大规模集群进行了仿真实验。在 UCI 数据集上，验证了基于 Spark 并行化的改进贝叶斯算法相比于朴素贝叶斯算法及其串行算法在准确率、召回率以 及时间上有更好的效果。当实验数据增加时，串行算法的执行效率低下，然而在 Spark 分 布式环境中，其效率明显提高。所以基于 Spark 的并行化算法在大数据下具有更好的可扩 展性和优越性。实验表明将模型应用在电子商务平台的用户评论数据时，模型能够准确地 识别电子商务产品质量风险，然后做出风险预警。从而提出了一种新型的风险监管模式。 关键词：数据挖掘；朴素贝叶斯；随机森林；MinHash；Spark I Research on the Technology of Product Quality Risk Assessment Based on E-commerce Abstract With the rapid development of network and information technology, The Internet is irresistible to enter peoples life, and that changed the way of people live. However, due to the virtual and across the region of e-commerce, some products purchased by consumer may exist quality risks, In view of this problem, and on the basis of previous studies, risk evaluation model of users reviews based on e-commerce platform is proposed, which can accurately identify the risk, evaluate the rank of risk, and then release the corresponding forewarning information so that the regulators make a quick response to risk. In this paper, the main contents are as followings: This paper use data processing technology of R language to process the