6-Web挖掘.pptVIP

决策量化技术 六、Web挖掘 总目录 一、数据挖掘概述 二、关联规则挖掘 三、数据分类 四、聚类分析 五、序列模式挖掘 六、Web挖掘 七、数据挖掘系统 Web上的数据挖掘 1、Web数据的特点 2、Web挖掘的分类 3、Web挖掘的应用 Web数据的增长 国内 CNNIC于2006年1月17日发布的第15次《中国互联网络发展状况统计报告》中的数据，我国大陆的上网用户总人数已经超过1.11亿，比去年同期增长了18%，上网计算机4950万台，增长19%，CN下注册域名数和网站数分别达到109万和69.4万，比去年同期增长了63%和61.4% 对99%的用户来说，Web上99%的信息是毫无用处的 Web数据的特点 数据库研究的角度 Web的每一个站点就是一个数据源，每个数据源都是异构的，构成了一个巨大的异构数据库环境 数据管理的角度 Web页面散布在世界各地的Web服务器上，形成的分布式数据源。每个服务器自主地管理自己的资源，没有统一的管理机制，这为数据分析和处理带来了更高的难度 数据模型的角度 半结构化是Web上数据的最大特点。与传统的数据库中的数据不同，Web数据非常复杂，是一种非完全结构化的数据，称为半结构化数据 Web数据的特点 数据内容的角度 Web包含了各种信息和资源，有文本数据、超文本数据、图表、图像、音频数据和视频数据等各种多媒体数据，体现了数据的多样性和复杂性 数据更新的角度 Web是一个动态性极强的信息源，不仅增长的速度极快，而且信息也在不断地更新，各站点的链接信息和访问记录的更新非常频繁 用户的角度 Web面对的是一个庞大的用户群体，而且用户群在不断地扩张之中，每个用户具有不同的背景、兴趣和使用目的 Web挖掘的要求 效率高：数据量非常庞大，每天都在迅速增长和更新，从如此海量的数据中有效地提取有用的信息要求数据挖掘速度必须很快 强大的并行性：分布在网络上各个站点的资源通过互连网连成一个大型分布式数据库，数据的巨大规模和广泛分布对数据挖掘的并行性要求很高 实时动态性：Web中数据更新非常迅速，有些信息可能很快过时，所以要提供准确的决策支持要求数据挖掘具有实时和动态的特性 有效地组织和管理数据：目前数据挖掘多应用于关系和面向对象数据库，有完美的结构，按照预先定义的模式进行组织、存储和存取，而Web的信息往往具有半结构化或非结构化特性，难以映射到一个固定的模式，使传统数据模型和数据库系统难以支持Web上的信息管理 Web上的数据挖掘 1、Web数据的特点 2、Web挖掘的分类 3、Web挖掘的应用 Web挖掘的分类 Web内容挖掘 Web内容挖掘是从Web文档的内容或描述中提取知识的过程，可以协助用户搜索信息或者根据用户的配置文件为用户过滤无用的信息。 Ahoy!：利用像搜索引擎一类的互联网服务来获取与个人有关的服务,输入用户名，找到用户的主页 EdgeGain：分析商家的主页和电子商务站点的文档结构，抽取价格列表; 帮用户找到任意产品的最低价格，前提是这个产品在网络上有售。 FAQ-Finder：从常用问题文件（FAQ）中抽取问题的答案。它把用户用自然语言提出的问题自动匹配到FAQ文件中的相应问题，然后返回对应的答案 研究内容：文本挖掘和多媒体挖掘 文本挖掘 文本分析（Text Analysis）、文本解释（Text Interpretation）、文档分类（Document Categorization）和文档可视化（Document Visualization） 文本预处理 分词是识别文本中短语的过程，特别对中文来说分词是必不可少的，主要有以下几种方法 最大匹配法(MM)：从文本的右部开始，选取包含6~8个英文单词或汉字作为最大符号串，将它们与词典中的单词条目相匹配，如果不能匹配，就削掉一个汉字继续匹配，直到在词典中找到相应的单词为止 逆向最大匹配法(RMM)：匹配方向与MM法相反，是从左向右。对汉语来说，逆向最大匹配法比最大匹配法更有效 双向匹配法(BM)：比较MM法与RMM法的分词结果，决定正确的分词 最佳匹配法(OM)：将词典中的单词按它们在文本中的出现频度的大小排列，高频度的单词排在前，频度低的单词排在后，从而提高匹配的速度 联想回溯法(AB)：采用联想和回溯的机制来进行匹配 过滤虚词:建立虚词库 合并词根:词性、名词的单复数、动词的时态 特征抽取 过滤特征 识别出姓名、前称谓词、后称谓词、数字和日期等，这些词将不作为关键词 计算权值 词频法：以关键词的出现次数为权值 FTIDF法：某个词在一个文档中出现的频率越高，它越能体现该文档的主题。相反，这个词出现在其它文档中的频率越低，它越能体现该文档区别于其它文档的主题 合并特征 合并从每个文档中抽取的关键词作为关键词，每一个关键词对应一个二元组集合