大数据时代apriori算法的实现与应用.docxVIP

大数据时代apriori算法的实现与应用 摘要：传统的并行关联规则算法都是基于MPI平台实现的，但是这些算法一般都存在一个缺陷，即无法处理出现的节点失效问题，而一般的集群都是由普通计算机组成的，节点失效是不可避免的。Google公司于2004年提出了M叩Reduce架构，该架构可以有效处理节点失效，MaPReduce架构通过把数据划分为多个数据块，然后启动多个Map任务同时进行处理，实现并行化计算。 关键词：大数据时代；apriori算法；实现；应用 Abstract：The traditional algorithm of parallel association rules is based on the MPI platform, but these algorithms usually have a flaw, that is, the failure of the nodes can not be dealt with, and the general cluster is composed of ordinary computers, node failure is unavoidable. Google in 2004 proposed the M knock reduce architecture, which can effectively deal with node failure, MapReduce architecture by dividing the data into multiple blocks, and then start a number of map tasks at the same time processing, implementation of parallel computing. Keywords: large data age; Apriori algorithm; implementation; application 目录 TOC \o 1-5 \h \z \u 1 绪论 1 1.1研究背景 1 1.2研究意义 2 2 大数据背景下的数据发掘 2 2.1 数据挖掘技术的基本概念 2 2.2数据挖掘的特点以及应用 3 2.3大型数据库的数据挖掘系统 5 3 关联规则算法及优化 5 3.1关联规则概述 5 3.1.1关联规则的定义 5 3.1.2关联规则的分类 6 3.2关联规则挖掘的Apriori算法 7 3.2.1使用候选项集找频繁项集 7 3.2.2由频繁项集产生关联规则 8 3.3 Apriori算法的性能分析 8 3.3.1 Apriori算法的缺陷 8 3.3.2 几种改进的Apriori算法 8 4 Apriori算法的实现与应用—以学生成绩挖掘的设计为例 8 4.1 C++数据访问技术 9 4.2目标分析 9 4.3数据准备 9 4.4据预处理 10 4.5Apriori算法的学生成绩挖掘实现 10 4.6挖掘结果及分析 11 5 结论 12 参考文献 14 致 谢 17 1 绪论 1.1研究背景 随着医疗大数据的日益重要以及云计算的出色解决能力，各个互联网公司都把目光放在了医疗云平台上，很多日渐成熟的医疗云架构不断被提出。2009年，Google公司提出了Google协/a ve产品，它整合了包括E-mail，IM，Wiki以及社交网络等强大的功能，通过收集多种来源的医疗数据，绘制成基于时间轴的曲线，但最终推行受阻。2011年，微软和parallels公司共同研发并向市场推行了可以有效帮助医疗机构方便使用云计算平台的新产品。2013年，英特尔公司携手合作伙伴Nutanix公司发布了全新的医疗行业云高集成度解决方案〔冈、在国内，中国移动通信集团公司与中南大学在“医疗大数据”、“移动医疗”、“区域医疗”等具体领域开展合作门。方正致力于建立医疗数据中心，通过“大集成大运维”思路提供完整的医学信息服务，通过端到端服务，方正的医疗信息化平台可以有效地提高医院的运行效率，解决在各级医疗机构存在的管理问题。中国联通着手打造的“智慧医疗”项目，可以为患者提供移动诊疗、远程预约、电子转诊等服务，为医院提供无线护理、无线查房以及移动办公等院务管理服务和医疗信息化服务。 而关联规则算法也一直是海内外学者的重要研究方向。关联规则算法最早由美国的Agrawal等人于1993年提出，在当时，它的提出是为了解决从大型数据库里挖掘关联规则的问题。具体的方法是，首先通过统计计数以获得频繁项集，然后通过项集递推的迭