《商业分析概论》WEB挖掘.pptxVIP

商业分析概论 WEB挖掘 目录CONTENTSWeb挖掘概述数据源及任务分类Web内容挖掘Web结构挖掘Web使用挖掘12345目录 目录CONTENTS数据源及任务分类Web内容挖掘Web结构挖掘Web使用挖掘1234510.1 Web挖掘概述Web挖掘概述 Web页面上的数据类型内容数据Web日志数据链接结构数据内容数据指网页上实际存在的供用户浏览的数据，多由文本和图像组成即用户使用数据，表示用户对Web的使用模式，如IP地址、浏览时间、页面引用等。Web日志一般包括Web服务器访问日志、代理服务器日志等，对其进行数据提取可以获取用户页面浏览、点击流和用户会话等。即用来组织内容的一种描述性数据，主要指页面之间的超链接结构，包括页面内的HTML及XML标记10.1 Web挖掘概述 10.1 Web挖掘流程数据取样Web信息源模式网络文件目标数据数据预处理建立Web挖掘模型分析和评估知识知识表述 610.1 Web挖掘流程数据取样Web环境目前能提供的数据源包括Web页面数据（文本、图形，以及多媒体），超链接数据和记录用户访问情况的Web服务器日志（Log）记录等。按照主题相关的原则，数据取样从大量数据中取出一个与探索目标相关的数据子集，为后面的数据挖掘提供素材和资源。数据预处理数据预处理就是将来自不同数据源（如使用模式、网页内容、结构及用户信息等）的各类数据，组织成为模式挖掘所必需的数据结构。预处理的好坏直接影响挖掘算法产生的结果，预处理过程是保证Web挖掘质量的关键。数据预处理主要包括数据清洗、会话识别、浏览页面识别、路径完善、用户识别等方面。建立Web挖掘模型Web挖掘系统的核心部分。它的主要功能是运用各种Web挖掘技术，从经过预处理的数据中提取潜在的、有效的且能被人理解的规则和模式。 10.2 Web挖掘流程分析与评估分析与评估是Web挖掘过程最后一项重要步骤。其通过选择和观察把发现的规则、模式和统计值转换为知识，再经过模式分析得到有价值的模式。Web挖掘所得到的模式需进行可信度和有效性分析，并对其做出评估结论，为用户的经营决策提供信息支持。知识表述知识表述是指用适当的形式将利用数据挖掘工具从Web数据中挖掘出来的知识模式表现出来，以利于用户接受和相互交流。也就是将感兴趣的规则、模式采用可视化技术，以图形界面的方式提供给使用者。 目录CONTENTS数据源及任务分类Web内容挖掘Web结构挖掘Web使用挖掘21345Web挖掘概述10.2 数据源及任务分类 Web挖掘数据源Web链接结构Web日志其它数据源Web页面内容10.2 数据源及任务分类 Web页面内容Web网页上的数据源有许多种，如文本、图像、视频和音频等，但文本一般是作为Web页面最主要的数据源。这些数据以比特流的形式向用户展开。尽管图像、视频和音频等数据源包含了大量的有用信息，但是由于多媒体分析技术还不成熟，Web内容数据源目前主要还是页面文本数据。Web链接结构Web上的网页链接结构可以看作是由网页和基于其间的大量超链构成的有向或无向图。网页结点可视作图的顶点，页面间的超链作为图的有向或无向边。Web上的超链结构是一个非常丰富和重要的资源，它们反映了网站设计者的领域知识，同时网页之间大量的链接结构为人们增强对网页的精确分析处理提供了极大的帮助。对网页之间的链接结构进行充分利用将大大提供人们网络需求的满意度。10.2 数据源及任务分类 10.2 数据源及任务分类 Web日志文件Web日志数据源主要有：Web服务器日志、代理服务器日志、错误日志等。其他数据源能够为Web挖掘提供帮助的其它数据源还有：用户向搜索引擎输入的查询关键字；用户浏览的查询结果页面及其评价；电子商务网站保存的用户注册信息；用户属性数据库等。 目录CONTENTS数据源及任务分类Web内容挖掘Web结构挖掘Web使用挖掘3214510.3 Web内容挖掘Web挖掘概述 Web挖掘Web 内容挖掘Web使用挖掘Web页面内容挖掘一般访问模式追踪Web结构挖掘搜索结果再挖掘定制使用模式追踪网络组织挖掘网页引用挖掘Web挖掘的任务结构图10.3 Web内容挖掘 10.3 Web内容挖掘Web内容挖掘是指从Web文档或其描述中发现知识的过程，主要是根据网页本身的内容做资料挖掘，目的是实现Web资源的自动检索，提供Web资源的利用率。Web内容挖掘有两种策略：Web页面内容挖掘和搜索结果再挖掘（即在其他检索工具搜索的基础上进行改进挖掘）。按实现方法又分为两类：第一类是基于第三者代理机制的方式进行Web内容的挖掘，这方面的处理方式有智能型搜寻代理人机制、信息自动过滤与分类机制及个人网络代理机制；第二类是以数据库机制进行Web内容挖掘，有多阶层的数据库、网络查询系统。 目录CONTENTS数据源及任务