浅谈数据挖掘的技术应用及其在Web中的发展.doc

浅谈数据挖掘的技术应用及其在Web中的发展 摘要： 随着信息产业的迅猛快速的发展以及Internet/Web技术的快速普及网络应用提供了强大支持，如何在这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。科学研究：从科学研究方法学的角度看,科学研究可分为三类:理论科学、实验科学和计算科学。计算科学是现代科学的一个重要标志。计算科学工作者主要和数据打交道,每天要分析各种大量的实验或观测数据。随着先进的科学数据收集工具的使用,如观测卫星、遥感器、DNA分子技术等,数据量非常大,传统的数据分析工具无能为力,因此必须有强大的智能型自动数据分析工具才行。数据挖掘在生物学上的应用主要集中于分子生物学特别是基因工程的研究上。基因研究中,同功能的蛋白质)和RNA分子的结构和功能。近几年,通过用计算生物分子系列分析方法,尤其是基因数据库搜索技术已在基因研究上作出了很多重大发现。　　市场行销由于管理信息系统和POS系统在商业尤其是零售业内的普遍使用,特别是条形码技术的使用,从而可以收集到大量关于用户购买情况的数据,并且数据量在不断激增。对市场行销来说,通过数据分析了解客户购物行为的一些特征,对提高竞争力及促进销售是大有帮助的。利用数据挖掘技术通过对用户数据的分析,可以得到关于顾客购买取向和兴趣的信息,从而为商业决策提供了可靠的依据。数据库数据挖掘在行销业上的应用可分为两类:数据库行销(databasemarketing)和货篮分析(basketanalysis)。　　金融投资典型的金融分析领域有投资评估和股票交易市场预测,分析方法一般采用模型预测法(如神经网络或统计回归技术)。由于金融投资的风险很大,在进行投资决策时,更需要通过对各种投资方向的有关数据进行分析,以选择最佳的投资方向。数据挖掘可以通过对已有数据的处理,找到数据对象之间的关系,然后利用学习得到的模式进行　　产品制造随着现代技术越来越多地应用于产品制造业,制造业已不是人们想象中的手工劳动,而是集成了多种先进科技的流水作业。在产品的生产制造过程中常常伴随有大量的数据,如产品的各种加工条件或控制参数(如时间、温度等控制参数),这些数据反映了每个生产环节的状态,不仅为生产的顺利进行提供了保证,而且通过对这些数据的分析,得到产品质量与这些参数之间的关系。这样通过数据挖掘对这些数据的分析,可以对改进产品质量提出针对性很强的建议,而且有可能提出新的更高效节约的控制模式,从而为制造厂家带来极大的回报。　　通信网络管理现代社会越来越依赖于通信系统来沟通信息,通信系统的结构非常复杂,如何保证通信系统安全运转成为一个极其重要的问题。在通信网络运行过程中,会产生一系列警告,这些警告有的可以置之不理,而有的如果不及时采取措施则会带来不可挽回的损失。由于警告产生的随机性很大,究竟哪些警告可以不予理睬,哪些警告必须迅速处理往往很难判断,一般需要由人工根据经验进行处理,效率不高。数据挖掘可以通过分析已有的警告信息的正确处理方法以及警告之间的前后关系的记录,得到警告之间的关联规则,这些有价值的信息可用于网络故障的定位检测和严重故障的预测等等任务中。Web Mining(Web数据挖掘)是由Oren Etzioni在1996年首先提出的，“因特网的数据挖掘”、“Web知识发现”、“网络信息挖掘”、 “Web信息挖掘”等也可以认为是Web挖掘的同义词。一般，对Web数据挖掘做如下定义：Web数据挖掘是指Web从文档结构和使用的集合C中发现隐含的模式P。如果将C看作输入，P看作输出，那么Web挖掘的过程就是从输入到输出的一个映射。 四、Web数据挖掘技术应用及其发展 Web数据挖掘的对象包括一切通过Web形成的数据。根据挖掘对象的不同，可将Web挖掘分为Web内容挖掘、Web结构挖掘和Web使用挖掘。Web数据挖掘的流程1)资源发现(Resource Finding)：是指从Web获取并返回文本资源的过程。文本资源最常见的是HTML文档，其他的还有电子邮件、新闻组、BBS、网站的日志数据或通过Web形成的交易数据库中的数据等。2)信息选择和预处理(Information Selection and Pre—processing)：是从取得的Web资源中剔除无用信息和将信息进行必要的整理。3)模式识别(Model Identify)：这个阶段主要运用数据挖掘技术和统计方法，从Web使用记录中挖掘知识。实现算法可以是统计分析、路径分析、关联规则、序列模式以及分类聚类等。4)模式分析(Model Analysis)：这个阶段的任务是采用合适、成熟的技术和工具，进行模式的分析，从而辅助分析人员的理解，使采用各种工具挖掘出的模式得到很好的利用。 Web数据挖掘的应用涉及到电子商务、网站设计和搜索引擎服务等方面。