关于社会网络分析方法的web资源挖掘的研究.pdf

致谢 本论文的工作是在我的导师林友芳副教授的悉心指导下完成的，林老师严谨 的治学态度和科学的工作方法给了我极大的帮助和影响，他指导了我学习研究的 方向，也教给我以后工作的所该具备态度和方式。在此衷心感谢两年来林友芳老 师对我的关心和指导。 在实验室工作及撰写论文期间，万怀宇师兄，王天宇等同学对我论文研究工 作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢我的父母，他们辛勤地工作，支持我，使我能够在学校专心顺利 完成我的学业。 l绪论 1．1研究背景和目的 Web是为广大用户交换或共享信息而发展起来的一种Intemet应用，近年来得 到了飞速发展，其信息量呈几何级数增长，每天都有数以百万计的网页加入到Web 中。它已经成为了一个涉及教育、政府、电子商务、新闻、广告、消费信息、金 融管理和许多其它信息服务的、巨大的、分布广泛、全球性的信息服务中心。 Intemet的普及和发展为人们带来了巨大的社会效益，与此同时它也为信息科 学的研究带来了巨大的机遇和挑战。虽然网络可以迅速便捷的为人们带来大量信 息，但是，Web所具有的海量数据、复杂性、极强的动态性、用户的多样性等特 点给Web资源挖掘造成了相当的难度。在实际应用中，当需要从网络上获取信息 时，有用信息往往会被大量的无用信息所淹没，使用户处于无所适从的境地，搜 索特定主题的少量权威信息源成为用户普遍又迫切的需求。 解决这些问题的一个有效途径，就是将传统的数据挖掘技术和Web结合起来， 进行Web挖掘。Web挖掘是一项综合技术，涉及了统计学、人工知识、模式识别、 并行计算、机器学习、数据库等多个领域。一个较为一般的定义是：Web数据挖 掘就是从与万维网相关的资源与行为中抽取感兴趣的、潜在的有用模式和隐含信 息。 随着万维网规模上的迅速增长，其复杂性也大大的增加，以至于我们已经无 法掌握其全貌。然而，在一些较小的本地的领域里，Web表现的仍然是有序的、 结构化的，因为网页的超链接结构是建立在人们努力进行注释的基础上的。Web 网页的作者往往会在其网页中添加指向相关主题网页的链接。通过利用这些链接 信息，就可以针对某一主题对网页进行提取和分组。搜索引擎可以帮助人们尽快 地找到所需要的信息，但是目前多数搜索引擎是基于分类或关键词逻辑组配的检 索方式，用户的一个查询请求往往会检索出庞大的结果集，而用户所需要的信息 却只是其中一小部分，面对如此多的结果，用户仍然不知所措。因此，如何提供 一些有效的工具和方法，帮助人们高效地获取所需信息，搜索所需领域的权威网 页就成为了研究者们所面临的重大课题。 社会网络分析从20世纪50年代开始，经过50多年的发展，已经成为一门成 熟的社会学科。主要是分析人与人之间的组成的社会网络。 而Internet上各个网页，它们之间相互链接，盘根错节，组织成了一个类似于 人类社会的网络，结合社会网络分析方法和传统的数据挖掘方法，将对Web资源 的社会网络分析方法的挖掘进行研究，帮助人们高效的获取所需信息，寻找所需 领域的权威信息。 1．2研究现状 1．2．1W．eb挖掘现状 近年来，随着Internet／Web技术的快速普及和迅猛发展，使各种信息可以以 非常低的成本在网络上获得，由于Internet在全球互连互通，可以从中取得的数 据量难以计算，而且Internet的发展趋势继续看好，特别是电子商务的蓬勃发展 为网络应用提供了强大支持，如何在万维网这个全球最大的数据集合中发现有用 信息无疑将成为数据挖掘研究的热点。 Web挖掘指使用数据挖掘技术在万维网数据中发现潜在的、有用的模式或信 息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、 人工智能中的机器学习和神经网络等。 根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容 挖掘、Web结构挖掘、W曲用法挖掘，后面将会介绍。 1．2．1社会网络分析现状 Network 社会网络分析(Social Amalysis)，顾名思义是分析社会网络的，1954 年第一次由英国的人类学家BROWN提出社会网络这个概念。经过50多年的发展， 它有两种不同的研究方向。 一种是整体网络分析，也是网络结构分析，主要研究群体中不同角色的关系 结构，引进数学的图论，使用社会关系图来