基于多核计算的分类数据挖掘算法研究计算机软件与理论专业论文.docxVIP

承诺书 本人声明所呈交的博/硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本承诺书） 作者签名： 日 期： 南京航空航天大学硕士学位论文 南京航空航天大学硕士学位论文 基于多核计算的分类数据挖掘算法研究 基于多核计算的分类数据挖掘算法研究 i i PAGE PAGE iv 摘 要 当前计算机制造工艺的飞速发展以及多核 CPU 芯片技术的日趋成熟，让我们进入了高速计 算的多核时代。同时，在并行计算领域上，也由以往的多机并行慢慢转到多核并行上来，即多 核计算的概念。这样不仅提高了效率，同时还是节约了很大的硬件开销，而且还是节能的，契 合了节能环保的社会化主题。本课题把多核计算与数据挖掘技术结合起来，来实现快速高效的 数据挖掘方法，主要对分类数据挖掘进行了多核化研究与探索。主要工作如下： (1) KNN 方法虽然有很多优点，但是其致命的问题就是分类效率比较低。针对这一问题， 本文运用多核计算技术对该算法作了多核化改进研究。从数据划分和任务划分这两个不同角度， 本文分别提出了基于多核计算的 MDKNN 和 MTKNN 算法。MDKNN 的设计思想是把单个任务 处理的数据集分开，并在多个计算核心上并行执行，以此来提高执行效率。MTKNN 算法主要 是把整个分类任务看作一个整体，将单条记录的分类视为整体的子任务，算法的核心思想是把 各个子任务在多核平台上并行执行。实验表明，这两个算法在保持原有分类正确性的同时极大 提高了分类效率。 (2) 决策树方法最耗时的部分就是决策树结构的构建过程，本文利用多核计算技术对决策 树的构建过程进行了多核改进研究，并在经典 ID3 算法的基础上提出了一种基于多核计算的分 类算法 MPID3。由于决策树的构建过程采用递归调用的方法，本文在多核并行实现时设计了一 个任务队列，用于各个处理器核心的动态任务获取和添加。实验表明，该算法在保持原有分类 正确性的同时极大提高了分类效率。 (3) 贝叶斯网络方法最耗时的部分就是贝叶斯学习阶段，本文利用多核计算技术对贝叶斯 学习过程进行了多核改进研究，提出了一种基于多核计算的贝叶斯网络方法 MPBN。在进行贝 叶斯学习时，首先把参数学习的任务分配到多个执行核上，执行完成之后，再进行网络结构的 更新。鉴于贝叶斯网络结构模型的建立比较麻烦，本文使用由 Intel 提出并发布的 PNL 库来创 建网络模型。实验表明，该算法在保持原有分类正确性的同时极大提高了分类效率。 关键词：数据挖掘，分类算法，多核计算，任务调度 ABSTRACT Nowdays the technology of computer manufacturer is developing rapidly, at the same times, the study of Multicore CPU chip has reached a significant conclusion. It leads us into the Multicore Computing age. As result of that, more and more researchers pay attention to Multicore parallel, while the traditional one is Multicomputer parallel. Using Multicore computing is a effective method, and it can cut down hardware expenditure. Compare with Multicomputer, Multicore can save energy, it meets our times theme’s requirement of both energy saving and environment protecting. This project combines Multicore Computing techonogy with Data Mining techonogy to realize an effective method of data processing. This article focuses on the research of Classfication