2016数据挖掘.ppt

Data Mining: Concepts and Techniques Web挖掘的价值 从大量的信息中发现用户感兴趣的信息 ：因特网上蕴藏着大量的信息，通过简单的浏览或关键词匹配的搜索引擎得到的是孤立而凌乱的“表面信息” ，Web挖掘可以发现潜在的、丰富的关联信息。 将Web上的丰富信息转变成有用的知识：Web挖掘是面向Web数据进行分析和知识提取的。因特网中页面内部、页面间、页面链接、页面访问等都包含大量对用户可用的信息，而这些信息的深层次含义是很难被用户直接使用的，必须经过浓缩和提炼。 对用户进行信息个性化：网站信息的个性化是将来的发展趋势。通过Web挖掘，可以达到对用户访问行为、频度、内容等的分析，可以得到关于群体用户访问行为和方式的普遍知识，用以改进Web服务方的设计，提供个性化的服务。 Web挖掘的类型 Web挖掘依靠它所挖掘的信息来源可以分为： Web内容挖掘（Web Content Mining）：对站点的Web页面的各类信息进行集成、概化、分类等，挖掘某类信息所蕴含的知识模式。 Web访问信息挖掘（Web Usage Mining）：Web访问信息挖掘是对用户访问Web时在服务器方留下的访问记录进行挖掘。通过分析日志记录中的规律，可以识别用户的忠实度、喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。 Web结构挖掘（Web Structure Mining）：Web结构挖掘是对Web页面之间的链接结构进行挖掘。在整个Web空间里，有用的知识不仅包含在Web页面的内容之中，而且也包含在页面的链接结构之中。对于给定的Web页面集合，通过结构挖掘可以发现页面之间的关联信息，页面之间的包含、引用或者从属关系等。 Web挖掘的含义 Web挖掘是一个看宽泛的概念，可以简单地描述为： 针对包括Web页面内容、页面之间的结构、用户访问信息、电子商务信息等在内的各种Web数据，应用数据挖掘方法以帮助人们从因特网中提取知识，为访问者、站点经营者以及包括电子商务在内的基于因特网的商务活动提供决策支持。 Web挖掘与信息检索 两种截然不同的观点： Web上的信息检索是Web挖掘的一个方面：Web挖掘旨在解决信息检索、知识抽取以及更宽泛的商业问题，是Web上IR技术的延伸。这种观点大多来自于数据挖掘研究领域。 Web挖掘是智能化的信息检索：对于IR领域的研究人员来说， Web挖掘是IR研究向着智能化的方向发展的结果。 信息检索可能经常被说成是Web挖掘的初级阶段，是为了强调Web挖掘不是简单的信息索引或关键词匹配技术，而是实现信息浓缩成知识的过程，它可以支持更高级的商业决策和分析。 Web挖掘与信息抽取 Web上的IE的研究目的是希望从众多的Web文挡中抽取可供分析的信息，与Web挖掘的关系也有不同的观点： IE是Web挖掘整个过程的一部分：这是因为Web上的数据一般是半结构化或无结构的，因此需要进行规格化的信息抽取这样的预处理。 Web挖掘是IE的一个特殊技术：既然IE是希望把Web蕴藏的信息抽取出来，那么Web挖掘或者文本挖掘只不过是达到这个目的的特殊技术手段。 信息抽取经常被说成是Web挖掘的一个预处理阶段，那是因为在数据挖掘领域，Web挖掘的更广义的理解应该是一个知识提取的完整过程。 Web挖掘的主要数据源 Web挖掘的数据来源是宽泛的：凡是在Web站点中对用户有价值的数据都可以成为它挖掘的数据源。 由于这些对象的数据形式及含义的差异，其挖掘技术会不同。一些比较有代表性的数据源有： 服务器日志数据：Web访问信息挖掘的主要数据源。 服务器日志数据 对Web服务器的访问，服务器方将会产生3种类型的日志文件： Server logs：记录用户的访问时间、IP地址以及请求等信息。 Error logs：存取请求失败的数据，例如丢失连接、授权失败或超时等 ?ookie logs：Cookie是由web服务器产生的记号并由客户端持有，用于识别用户和用户的会话。 在线市场数据 在线市场数据是指和市场活动相关的信息。例如一个电子商务站点，存储相关的电子商务信息。 从内容上说，不同目的商务网站有不同的商务信息。但是，这类数据通常是用传统的关系数据库结构来存储数据。 在线市场数据是业务数据，是进行业务相关分析的主体。用户的挖掘目标只有结合在线市场数据分析才能达到目的。 Web页面 Web页面是网站信息的主体，但是它们的主要信息不可能像关系型数据库那样规整，因此Web页面的内容组织形式的分析是研究Web挖掘的具体方法的基础。 目前的Web页面大多满足HTML标准，现有的Web挖掘方法大多是针对Web页面开展的。 1998年WWW社团提出了XML语言标准（eXtensible Markup Language）。该标准通过把一些