Web数据挖掘探索.docx

数据仓库技术在学生成绩管理中的应用 课程名称 数据仓库与数据挖掘 　 院（系） 计算机学院软件学院 专 业 计算机科学与技术　　 指导老师 班 级 　 姓 名 学 号 Web挖掘研究 摘要 因特网目前是一个巨大、 分布广泛、全球性的信息服务中心,它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和许多其它信息服务.Web包含了丰富和动态的超链接信息,以及Web页面的访问和使用信息,这为数据挖掘提供了丰富的资源.Web挖掘就是从Web文档和Web活动中抽取感兴趣的潜在的有用模式和隐藏的信息.对Web挖掘最新技术及发展方向做了全面分析,包括Web结构挖掘、多层次Web数据仓库方法以及Web Log挖掘等. 关键词 数据挖掘，Web挖掘，Web仓库、Web Log挖掘，Web使用记录挖掘 RESEARCH ON WEB MINING: A SURVEY Abstract The World Wide Web serves as huge, widely distributed, global information service center for various applications. Web contains a rich and dynamic collection of hyperlink information and Web page access and usage information, providing rich sources for data mining.The goal of Web mining is to discover the access pattern and hidden information from the huge collection of documents plus hyperlink information, access and usage information. Given in this paper is an overview of Web mining techniques and new trends, mainly involving Web Structure mining, a multilayered Web information base building, and Web Log mining. Key words data mining,Web mining,Web warehouse,Web Log mining,Web ueage mining 1引言 60年代,大的物理流伴随着大信息流.传统的文件方式不能适应信息处理的需求, 因此出现了数据库技术.90年代,人类积累的数据量以高于每月15%(或每年5.3倍)的速度增加,数据海洋不能产生决策意志,为了进行决策,人们不断地扩大数据库能力,搜集海量数据,但这使得决策者更难于决策,因此出现了数据挖掘技术,以便从数据库中发现知识.数据挖掘技术包括特征、分类、关联、聚类、偏差、时间序列、趋势分析等. 近年来,Internet正以令人难以置信的速度在飞速发展, 越来越多的机构、团体和个人在Internet上发布信息、查找信息. 虽然Internet上有海量的数据 但由于Web是无结构的、动态的，并且Web页面的复杂程度远远超过了文本文档，人们要想找到自己想要的数据犹如大海捞针一般.信息检索界开发了许多搜索引擎，但其覆盖率有限，因此查全率低，一般的搜索引擎是基于关键字的查询，命中率较低，另外不能针对特定的用户给出特殊的服务，因为每个人感兴趣的东西是不一样的，因此不具有个性化. 解决这些问题的一个途径，就是将传统的数据挖掘技术和Web结合起来，进行Web挖掘.Web挖掘就是从Web 文档和Web活动中抽取感兴趣的潜在的有用模式和隐藏的信息.Web挖掘可以在很多方面发挥作用，如对搜索引擎的结构进行挖掘，确定权威页面，Web文档分类，Web Log挖掘，智能查询，建立Meta-Web数据仓库等. 万维网目前是一个巨大、分布广泛、全球性的信息服务中心，它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和许多其它信息服务.Web还包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了丰富的资源.然而从以下的分析可以看出对Web进行有效的资源和知识发现具有极大的挑战性. 对有效的数据仓库和数据挖掘而言Web似乎太