大数据学习之数据挖掘的五点概念.pdfVIP

中国IT职业教育领先品牌 精品课程 全程面授 大数据学习之数据挖掘的五点概念 近几年 ，大数据被炒得火热 ，一大批 “不明觉厉”的朋友蜂拥而至 ，希望能 进入这个行业大捞一把 ，但众多撞破头也没挤进去。根本原因就是根本没有理解 什么是数据挖掘 ，理解数据挖掘的相关概念 ，所以 ，今天小编就为大家讲几点数 据挖掘的入门必知的概念。 1、DataMining和统计分析有什么不同 ？ 硬要去区分 DataMining和 Statistics 的差异其实是没有太大意义的。一般 将之定义为 DataMining技术的 CART、CHAID或模糊计算等等理论方法 ，也 都是由统计学者根据统计理论所发展衍生 ，换另一个角度看 ，DataMining有相 当大的比重是由高等统计学中的多变量分析所支撑。但是为什么 DataMining 的出现会引发各领域的广泛注意呢 ？主要原因在相较于传统统计分析而言 ， DataMining有下列几项特性 ： 处理大量实际数据更强势 ，且无须太专业的统计背景去使用 DataMining 的工具 ； 数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件 ， DataMining 的工具更符合企业需求 ； 千锋教育 中国IT职业教育领先品牌 精品课程 全程面授 纯就理论的基础点来看 ，DataMining 和统计分析有应用上的差别 ，毕竟 DataMining 目的是方便企业终端用户使用而非给统计学家检测用的。 2、OLAP能不能代替 DataMining ？ 所谓 OLAP （OnlineAnalyticalProcess ）意指由数据库所连结出来的在线 分析处理程序。有些人会说 ： 「我已经有 OLAP 的工具了 ，所以我不需要 DataMining。」事实上两者间是截然不同的 ，主要差异在于 DataMining用在 产生假设 ，OLAP则用于查证假设。简单来说 ，OLAP是由使用者所主导 ，使用 者先有一些假设 ，然后利用 OLAP来查证假设是否成立 ；而 DataMining则是 用来帮助使用者产生假设。所以在使用 OLAP或其它 Query 的工具时 ，使用者 是自己在做探索 （Exploration ），但 DataMining是用工具在帮助做探索。 举个例子来看 ，一市场分析师在为超市规划货品架柜摆设时 ，可能会先假设 婴儿尿布和婴儿奶粉会是常被一起购买的产品 ，接着便可利用 OLAP的工具去 验证此假设是否为真 ，又成立的证据有多明显 ；但 DataMining则不然 ，执行 DataMining 的人将庞大的结帐数据整理后 ，并不需要假设或期待可能的结果 ， 千锋教育 中国IT职业教育领先品牌 精品课程 全程面授 透过 Mining技术可找出存在于数据中的潜在规则 ，于是我们可能得到例如尿布 和啤酒常被同时购买的意料外之发现 ，这是 OLAP所做不到的。DataMining 常 能挖掘出超越归纳范围的关系 ，但 OLAP仅能利用人工查询及可视化的报表来 确认某些关系 ，是以 DataMining此种自动找出甚至不会被怀疑过的数据模型 与关系的特性 ，事实上已超越了我们经验、教育、想象力的限制 ，OLAP可以和 DataMining互补 ，但这项特性是 DataMining无法被 OLAP取代的。 3、完整的 DataMining包含哪些步骤 ？ 以下提供一个 DataMining 的进行步骤以为参考 ： 理解业务与理解数据 ； 获取相关技术与知识 ； 整合与查询数据 ； 去除错误或不一致及不完整的数据 ；