玩转大数据：深入浅出大数据挖掘技术(Apriori算法、Tanagra工具、决策树)要领.doc

本课程是怎么样的一门课程（全面介绍） 1.1、课程的背景 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 “大数据” 其实离我们的生活并不遥远，大到微博的海量用户信息，小到一个小区超市的月销售清单，都蕴含着大量潜在的商业价值。 正是由于数据量的快速增长，并且已经远远超过了人们的数据分析能力。因此，科学、商用等领域都迫切需要智能化、自动化的数据分析工具。在这样的背景下，数据挖掘技术应用而生，使得海量数据的分析变得易如反掌。 1.2、课程内容简介 本课程名为深入浅出数据挖掘技术。所谓“深入”，指得是从数据挖掘的原理与经典算法入手。其一是要了解算法，知道什么场景应当应用什么样的方法；其二是学习算法的经典思想，可以将它应用到其他的实际项目之中；其三是理解算法，让数据挖掘的算法能够应用到您的项目开发之中去。所谓“浅出”，指得是将数据挖掘算法的应用落实到实际的应用中。课程会通过三个不同的方面来讲解算法的应用：一是微软公司的SQL Server与Excel等工具实现的数据挖掘；二是著名开源算法的数据挖掘，如Weka、KNIMA、Tanagra等开源工具；三是利用C#语言做演示来完成数据挖掘算法的实现。 根据实际的引用场景，数据挖掘技术通常分为分类器、关联分析、聚类算法等三大类别。本课程主要介绍这三大算法的经典思想以及部分著名的实现形式，并结合一些商业分析工具、开源工具或编程等方式来讲解具体的应用方法。 1.3、课程大纲 1) 数据挖掘概述与数据 本章讲解了数据挖掘技术的起源、应用场景以及基本的处理方法，并对于数据集、数据等基本的概念做了阐释。 2) 可视化与多维数据分析（实践课） 本章讲解了数据可视化的基本方法，并分别演示了Excel数据透视表与SQL Server Analysis Service对于多维数据的可视化处理。（OLAP） 3) 分类器与决策树 本章讲解了分类器的基本概念与应用方法，并具体分析了分类器经典算法之一决策树的实现方法。 4) 其他分类器（上） 本章讲解了另外两种经典的分类器算法：基于规则的分类器与基于距离的分类器。 5) 其他分类器（下） 本章讲解了其他一些常见的分类器算法，如基于距离的分类器的改良算法、贝叶斯分类器、人工神经网络、支持向量机与组合方法等。 6) 决策树的应用（实践课） 本章演示了利用Weka Explorer、KNIME、Tanagra等开源工具进行的数据挖掘处理。演示中对比了几类数据挖掘算法，如Cart决策树、C4.5决策树、KNIME决策树、简单贝叶斯分类、组合方法（装袋）、人工神经网络、基于规则的分类等。 7) 关联分析 本章讲解了关联分析的常见算法，即Apriori算法与FP增长算法。 8) 购物车数据分析（实践课） 本章主要演示了利用微软的解决方案来进行购物车数据的关联分析，包括SQL Service Analysis Service的关联分析与Excel结合SSAS外接程序等方法。最后还利用Weka KnowledgeFlow工具来进行关联分析，以便对比第六章的实践。 9) 聚类算法 本章讲解了聚类算法的基本原理与常见算法，包含K均值算法、层次聚类、基于密度的聚类算法。 10) 聚类算法C#源代码实现（实践课） 本章演示如何通过C#源代码实现聚类算法。 1.5、讲师介绍 艾伦：世界500强顶级企业2年云计算工作经验，拥有多年的开发经历，擅长SQL Server数据库并对数据处理有一定的研究，同时也有许多C/C++、C#、Jquery等网页与桌面应用开发经验。 二、为什么需要这么套课程？ 2.1、企业需要什么？ 数据挖掘是一门比较新的技术，而数据挖掘的需求并没有完全的挖掘出来。在这样的情形下，我们依然看到很多企业对这样的新技术有着强烈的需求。 （说明：以下企业需求职位均来自于51job.） 职位1、数据库工程师 职位2、软件开发工程师