第一章 数据挖掘与信息处理导论.ppt

* 1.数据挖掘与统计学的关系 近几年，人们逐渐发现数据挖掘中有许多工作都是由统计方法来完成的。甚至有些人（尤其是统计学家）认为数据挖掘是统计学的一个分支，当然大多数人（包括绝大多数数据挖掘研究人员）并不这么认为。但是，统计学和数据挖掘的目标非常相似，而且数据挖掘中的许多算法也源于数理统计，统计学对数据挖掘发展的贡献功不可没。 （1）数据挖掘的数据源与以前相比有了显著的改变； 数据是海量的； 数据有噪声； 数据可能是非结构化的； （2）传统的数据分析方法一般都是先给出一个假设然后通过数据验证，在一定意义上是假设驱动的；与之相反，数据挖掘在一定意义上是发现驱动的，模式都是通过大量的搜索工作从数据中自动提取出来 。即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。 * 2.数据挖掘与传统数据分析方法区别 在缺乏强有力的数据分析工具而不能分析这些资源的情况下，历史数据库也就变成了“数据坟墓”－里面的数据几乎不再被访问。也就是说，极有价值的信息被“淹没”在海量数据堆中，领导者决策时还只能凭自己的经验和直觉。因此改进原有的数据分析方法，使之能够智能地处理海量数据，即演化为数据挖掘。 3.数据挖掘的本质：一种深层次的数据分析方法。 数据分析本身已有多年的历史，只不过在过去数据收集和分析的一般目的是用于科学研究；另外，由于当时计算能力的限制，很难实现大量数据的复杂分析。 现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，这些数据并不是为了分析的目的而收集的，而是在商业运作过程中由于业务需要而自然产生的。 4.实施数据挖掘的目的 不再是单纯为了研究，更主要的是为商业决策提供真正有价值的信息，进而获得利润。 所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此需要从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也由此而得名。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * * * * * * * * * * * 数据挖掘与信息处理(Data Mining and Information Processing) 董春游(Chunyou Dong) PhD,Professor Email:chunyoudong@126.com Heilongjiang University of Science and Technology Harbin 150027，China) 研究生学院 黑龙江科技大学 博士研究生课程 * 教师简介: 董春游，教授，博士，硕士生导师,校教学名师。 1983年阜新矿业学院采矿工程系毕业 1.采煤教研室副主任；2.经济教研室主任； 3.经贸系副主任；4.计算机与信息工程学院院长 5.研究生学院党委书记 学历教育 1.1992年考入中国矿业大学北京研究生部.优秀硕士论文 2.1998年入辽宁工程技术大学，2002年获得博士学位（校级优秀博士论文）；3.2004年进入哈尔滨工程大学博士后流动站工作学习并于2007年出站。 研究领域 矿业系统工程、人工智能与专家系统、技术经济等教学与研究工作， 成果 主编、主审高等学校规划教材6部，出版学术专著一部，发表论文40多篇 参加或主持国家自然基金项目、省重大攻关项目、省科技厅项目、省教育厅项目及横向课题多项，获省、部级科技进步三等奖共三项，省优秀教学成果奖两项，作为主讲教师获得省精品课程一门，指导的研究生有1人获得省优秀硕士论文，3人获得校优秀硕士论文。兼任黑龙江省煤炭学会常务理事、中国计算机学会会员、黑龙江省计算机学会理事、黑龙江省高校职称评审专家、哈尔滨市科技局项目评审专家等。曾获黑龙江省模范教育工作者，鸡西市十大杰出青年，鸡西市专业技术拔尖人才，黑龙江科技学院教师特殊贡献一等奖，优秀硕士导师等荣誉称号。 * 数据挖掘与信息处理(Data Mining and Information Processing) 1.开课对象：煤矿事故应急救援与影响控制博士人才培养项