面向Ｗｅｂ的数据挖掘技术的论文.docVIP

　　面向Ｗｅｂ的数据挖掘技术的论文 [摘要] 随着inter的发展，l 标记的ining) 、结构挖掘(ining) 和用户访问模式挖掘(ining)。如下图所示。 　　 　　1.l标记的半结构化数据。前者一般采用词集方法，用一组组词条来表示无结构的文本。后者主要利用传统的数据挖掘技术：如关联规则、分类算法、演绎逻辑和规则学习等。 　　 　　2.web结构挖掘 　　web结构挖掘是从web组织结构和链接关系中推导知识。挖掘页面的结构和web结构，可以用来指导对页面进行分类和聚类，找到权威页面、中心页面，从而提高检索的性能。同时还可以用来指导页面采集工作，提高采集效率。web结构挖掘可以分为web文档内部结构挖掘和文档问的超链接结构挖掘。 　　web结构挖掘的基本思想是将web 看作一个有向图,他的顶点是web页面,页面间的超链就是图的边。然后利用图论对web 的拓扑结构进行分析。常见的算法有hits (hypertext induced topic search), pagerank,发现虚拟社区的算法、发现相似页面的算法、发现地理位置的算法和页面分类算法。web 结构挖掘的算法一般可分为查询相关算法和查询无关算法两类。查询相关算法需要为每一个查询进行一次超链分析从而进行一次值的指派;而查询独立算法则为每个文档仅进行一次值的指派,对所有的查询都使用此值。hits和pagerank分别是查询相关算法和查询独立算法的代表。 　　 　　3.web访问挖掘 　　web访问挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式，通过分析这些数据可以帮助理解用户隐藏在数据中的行为模式，做出预测性分析，从而改进站点的结构或为用户提供个性化的服务。 　　web访问挖掘一般分为两种：一般访问模式跟踪和定制使用跟踪。一般访问模式跟踪通过分析web日志来理解用户的访问模式和倾向；定制使用跟踪分析单个用户的偏好，根据其访问模式为每个用户定制符合其个人特色的web站点。web的log数据包括：senrer log，proxy serverlog，client端的cookie log等。web使用记录挖掘通常需要经过三个阶段:数据预处理阶段(主要包括数据清洗和事物识别两个部分):模式识别阶段(采用统计法、机器学习等成熟技术．从web使用记录中挖掘知识)：模式分析阶段(采用合适的成熟的技术和工具进行模式的分析，从而辅助分析人员理解．使采用各种工具挖掘出的模式得到很好利用)。对web使用记录挖掘采用的算法有：路径分析、关联规则和有字模式的发现、聚类分类等，为了提高精度，使用记录挖掘也用到站点结构和页面内容等信息。 　　 　　四、web数据挖掘中的关键技术 　　web数据挖掘中常用的技术有web使用的特有的路径分析技术，数据挖掘领域常用的关联规则、序列模式、分类聚类技术等。 　　 　　1.路径分析技术 　　用路径分析技术进行web数据挖掘时，最常用的是图，因为web可以用一个有向图来表示，g=(v，e)，v是页面的集合，e是页面之间的超连接集合，页面定义为图中的顶点，而页面之间的超连接定义为图中的有向边。顶点v的入边表示对v的引用，出边表示v引用了其他的页面，这样形成网站结构图，从图中确定最频繁的访问路径。 　　 　　2.关联规则挖掘技术 　　关联规则挖掘技术主要用于从用户访问序列数据库的序列项中挖掘出相关的规则，就是要挖掘出用户在一个访问期间(session)，从服务器上访问的页面／文件之间的联系，这些页面之间可能并不存在直接的参引(riference)关系．最常用的是用aprior算法，从事务数据库中挖掘出最大频繁访问项集，这个项集就是关联规则挖掘出来的用户访问模式。 　　 　　3.序列模式挖掘技术 　　序列模式数据挖掘就是要挖掘出交易集之间的有时间序列关系的模式．它与关联挖掘技术都是从用户访问下的日志中寻找用户普遍访问的规律，关联挖掘技术更注重事务内的关系，序列模式技术则注重事务间的关系。 　　 　　4.聚类分类技术 　　分类规则可以挖掘出某些共同的特性，这个特性可以用来对新添到数据库里的数据项进行分类。在web数据挖掘中，分类技术可以根据访问这些用户而得到的个人信息或共同的访问模式得出访问某一服务器文件的用。特征。聚类技术则是对符合某一访问规律特征的用户进行用户特征挖掘。最后进行模式分析，挖掘出人们可理解的知识的模式解释。 　　 　　五、web数据挖掘的应用 　　 　　随着中国经济的高速发展，数据挖掘将在中国形成一个产业，目前web数据挖掘已广泛地应用于金融业、远程通讯业、政府管理、制造业、医疗服务以及体育事业中,基于web的数据挖掘技术已经成为一个热点,下面主要介绍web数