Web挖掘技术及其在网站管理中的应用.pdfVIP

第 36 卷 第 2 期 内蒙古师范大学学报 ( 自然科学汉文版) Vol . 36 No . 2 2007 年 3 月 J ournal of Inner Mongolia Normal U niver sit y (Nat ural Science Edition) Mar . 2007 Web 挖掘技术及其在网站管理中的应用 1 2 王继明 , 杨国林 ( 内蒙古工业大学 信息工程学院 , 内蒙古 呼和浩特 0 1005 1) 摘 　要 : 将 Web 文本分类技术和 Web 使用记录挖掘技术应用于网站信息管理中 ,实现了网站对站内 Web 文本的快速 自动分类以及对站内不同用户显示个性化布局的功能 ,显著提高了网站管理中处理大量信息的效率 , 增强了网站的个性化特征. 关键词 : Web 挖掘 ; Web 使用记录挖掘 ; Web 文本分类 中图分类号 : TP 3 17 . 1 　　文献标识码 : A 　　文章编号 : 100 18735 (2007) 020 18804 目前 ,网站经营的主要 目标是向用户提供大量有价值的信息 ,并使网站的界面和功能贴近用户 ,使网站 的整体设计更加人性化. 网站可以根据 自己的特点整合 Int er net 上的信息并在 自己的网站上发布 ,根据用户 的浏览爱好为他们自动提供个性化网页布局 , 以及有针对性地向他们提供信息. 实现上述 目标需要处理大量 的网络信息和用户信息 ,仅依靠人工处理这些信息 ,存在处理周期长 、效率低等问题. 在网站设计中引入 Web 文本挖掘技术可以很好地解决网络信息处理中存在的问题和不足. 本文阐述了 Web 文本分类技术和 Web 使用记录挖掘技术在网站管理中的应用 ,讨论了基于上述技术的“网络新闻分类及用户个性化新闻系 统”的实现过程. 1 　中文网页分类 随着互联网上信息量的增加 ,需要网站管理的信息也随之大量增加. 网络信息的激增产生了对快速 、自 动文本分类技术的迫切需求. 自动文本分类是指在给定分类体系下 ,根据文本内容 自动确定文本类别的过 程. 自20 世纪 90 年代以来 , 已有许多统计方法和机器学习方法应用于自动文本分类[ 1 ] . 1. 1 　中文网页预处理 由于网站搜集到的 Web 文档只有有限的结构或者根本就没有结构 ,并且文档的内容是由人类使用的自 然语言所构成 ,计算机很难理解其语义. 因此 ,文本分类前的首要任务就是对文档进行预处理 , 即使用一定 的特征项将文档转化成通用的且能反映文档内容特征的模型 , 以便计算机对文档进行处理. 1. 1. 1 　中文网页信息抽取 　Web 文档中普遍存在着大量的文档标签 , 如 ht ml 文档的 U RL 标签 a / a 等. 大多数标签及其包含的内容对文档分类的贡献都不大 , 因此需要剔除这些标签和相关内容 ,只剩 下那些对文本分类效果贡献大的文档内容[2 ] . 在 ht ml 网页中对分类贡献大的部分有 tit le … / tit le , met a . . . / met a 中的内容 ,这些内容分别代表文章的标题和网页的关键词. 如果要对其中包含的词 给予特别关注 ,就要提高这些词的权重. 在提取完这些内容之后要去除网页内部的多余标签和内容 ,把网页 的主体内容提取出来并转换为 .t xt 文档格式 , 以便进一步分类. 1. 1. 2 　中文网页表示 　网页经过信息抽取后 ,保存的是纯文本信息. 人们可以通过思维和判断来理解这些 文本信息 ,但是计算机不具有人脑的思维功能 ,对这些文本信息无法进行理解和分类判断 , 因此必须把抽取 出的文本信息转换为计算机可以理解的形式. 根据“贝叶斯假设”,假定组成文本的字或词在确定文本类别的 作用上相互独立 ,这样就可以使用文本中出现的字或词的集合来代替文本 ,这种假设可以使文本的表示和处 理形式化 ,并且可以在文本分类中取得较好的效果. 基于这种假设 , 目前比较流行的文本表示方法为向量空 收稿日期 : 2006 - 08 - 2