基于Spark的分类算法在电信客户流失预测系统中的并行化研究-计算机技术专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。  本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日  摘 要 在电信行业中，数据挖掘中的分类技术广泛运用于客户流失预测。但是，传统 的分类算法大多是运行在单机上，面对小规模数据时能快速的完成分类，当对电信 企业中的海量数据进行处理时，由于单机的资源有限，计算需要耗费大量的时间， 不能高效的完成分类任务，如何提高分类算法处理海量数据的效率是电信企业提高 流失预测效率亟需解决的问题。 以电信客户流失预测系统项目为基础，分析和研究了电信行业中客户流失预测 问题，在此基础上对系统进行了需求分析和功能设计。研究了电信企业中不同类型 的数据，基于电信客户静态数据和动态数据构建了客户信息模型作为电信客户流失 预测系统的输入数据模型。另外，还研究了 Spark 平台及分类算法，分析了分类算法 在 Spark 平台下实现的并行化方案，实现了基于分布式平台 Spark 的分类算法的并行 化封装，并把并行化算法运用到电信客户流失预测系统中。在电信客户流失预测系 统中设计和实现了 softmax 回归算法和基于距离的分类算法的并行化，并搭建 Spark 和 Hadoop 集群对算法进行了性能测试和评估。 实验结果表明，Spark 平台下实现的 softmax 回归算法和基于距离的分类算法在 进行海量数据的处理时有较好的加速比，并且相比 Hadoop 平台，其并行化的性能更 优、效率更高，运用在电信客户流失预测系统中可以大大提高系统的稳定性和可靠 性。 关键词：分类算法，流失预测，Spark， softmax 回归算法，基于距离的分类算法  Abstract Classification techniques of data mining are widely applied to predict customer churn in the telecommunications fields. However, the traditional classification algorithm mostly runs on a single machine and it can complete classification task quickly while poorly and inefficiently when facing massive telecom data due to limited resources. How to improve the efficiency of classification algorithm dealing with massive data is an urgent problem needed to be solved in telecom enterprises. Based on the project of telecom customer churn prediction system, the problem that how to predict customer churn in telecom enterprises is analysed and researched, as well as the demand analysis and functional design. With research on various data in telecom, the customer information model is built on the basis of static data and dynamic data of telecom customers, which is used as input data model of telecom customer churn prediction system. In