计算机学科新技术论文.docx

重庆大学学科新技术课外拓展 PAGE 1 学科新技术期末论文 姓名: 黄晓红 学号： 班级： 09级 数字媒体2班 学院： 软件学院  学科新技术 之数据挖掘 引言：在学科新技术里了解了信息隐藏技术，这些技术都是将信息隐藏在文字里面，或是密码学或是其它的信息隐藏技术。但如何在海量的看似无相关性的信息中提取信息呢？从矛盾的普遍性和特殊性来看，应该存在一种技术，在大致方向上是和信息隐藏技术相对的。为此找了一些资料，关于数据挖掘技术。 发展背景，需求的引出，什么是数据挖掘。 1.1 数据爆炸中的信息冗杂 近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提高，千万个数据库被用于商业管理、政府办公、科学研究和工程开发等等，并且这一势头仍将持续发展下去。于是，一个新的挑战被提了出来:在这被称之为信息爆炸的时代，信息过量几乎成为人人需要面对的问题。如何才能不被信息的汪洋大海所淹没，从中及时发现有用的知识，提高信息利用率呢?要想使数据真正成为一个公司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大量的数据可能成为包袱，甚至成为垃圾。因此，面对人们被数据淹没的挑战，数据挖掘技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。 1.2 纯技术上的定义 数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。 数据挖掘这个定义包括好几层要求：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用。可以想象数据挖掘的几个要求是合情合理的，数据若不是真实的，那么挖掘出来的信息就是一个错误的信息，倘若数据不是大量的，也就不用搞这么复杂。含噪声的数据是指那些有着大量冗余信息的数据，若不含有冗杂信息，那就是我们都喜欢的结果，就不需要数据挖掘了。 原始数据可以是结构化的，如关系数据库中的数据；也可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。异构型数据是指那些包含了多种语言的的信息，这里的语言并不是指我们说的语言，而是值信息表达的语言。 数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。 1.3 从商业方面讲 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。简而言之，数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外，由于当时计算能力的限制，对大数据量进行分析的复杂数据分析方法受到很大限制。现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，分析这些数据也不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的信息，进而获得利润。但所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。 因此，数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。 1.4 数据挖掘与数据分析的不同 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知,有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。 数据挖掘需要什么技术？它涉及的知识领域有哪些？ 2.1 数据挖掘中所用到的技术 现在数据挖掘技术在商业应用中已经可以马上投入使用，因为对这种技术进行支持的三种基础技术已经发展成熟，他们是：- - 海量数据搜集- - 强大的多处理器计算机- - 数据挖掘算法 2.1.1 海量数据搜集 在这个信息化时代，数据可以用铺天盖地来形容，对于数据挖掘来说，数据越多能找到的信息也就越多，越准确，规律也