基于Spark平台的离群数据并行挖掘算法-计算机与数字工程.PDFVIP

总第349 期 计算机与数字工程 Vol. 46 No. 11 Computer Digital Engineering 2018 年第 11 期 计算机与数字工程 2175 2018 年第 11 期 基于Spark平台的离群数据并行挖掘算法∗ 李俊丽 （晋中学院信息技术与工程学院 晋中 030619 ） 摘 要 大数据技术的快速发展，现有的离群挖掘算法效率可能显著下降甚至不适用。Spark 内存计算可以有效地降 低I/O 成本，并能提高数据分析和处理的效率。使用 Spark 内存计算平台，提出了一种离群数据并行挖掘算法，目的是在 Spark 这样的大数据平台上对传统离群挖掘算法进行并行化，从而提高性能。最后以UCI 数据集作为实验数据集对算法进 行了验证，