基于关键资源的网站自动分类器.pdfVIP

基于关键资源的网站自动分类器 付德宇 代成琴 仲玮 哈尔滨工业大学信息与网络中心 （黑龙江哈尔滨 150001） E-mail:fdy@ 摘 要 本文针对网站表示难题，引入关键资源的概念，通过对网站关键资源的分析,设计了 一个主页优先的网站关键资源获取方法, 给出了一个改进的TF-IDF 公式用于计算特征的权 重，并研究了关键资源特征抽取的方法，最后基于向量空间模型，将网站的表示转化为网站 关键资源的表示，设计了一个网站自动分类器。 关键词 网站分类 关键资源 特征抽取 中图分类号 TP399 A Website Classifier Based on Key Resource Fu Deyu Dai Chengqin Zhong Wei (Information and Network Center , Harbin Institute of Technology Harbin 150006) Abstract: This article proposes the concept of key resource for the problem of the representation of website, first it gives an analysis on the key resource of website, then a method that acquires the key resource of website and a improved TF-IDF formula for calculating the feature are presented, it also gives the method on the key resource’s feature extraction, last by turning the representation of website into the representation of key resource, a website Classifier based on the vector space model is designed. Keywords: website classification, key resource, feature extraction 1 引言 网站分类有助于改善Web 信息的查准率，以雅虎、搜狐为代表的分类目录式搜索引擎采 用的是人工分类方法，这种方法效率低、更新速度慢、维护成本高，很难实现对互联网上动 态变化的海量网站进行有效的跟踪和管理，因此有必要对网站进行自动分类。网站自动分类 可采用文本分类模型，其难点是网站的形式化表示问题。 关键资源（Key Resource ）是 TREC(Text REtrieval Conference)为了描述 Topic distillation 任务而提出的概念，这个概念用以表示一个与某一主题最相关的网页或文档。在 TREC 2002 的描述中，关键资源有主下特征[1]： 1 关键资源比相关网页要少得多，它们是关于主题的最有用的网页。 2 关键资源的链接比其内容更重要，比如一个网站的主页，它可能某含很少的细节信息， 但它指向其它网页，并且提供了对网站及其内容的简介。 3 关键资源和分类目录是不同的，它更关注于主题。 4 一个关键资源可能是一个和主题相关的网站的主页、一个和主题相关的子网站的主 页、一个与主题高度相关的html, pdf, doc, ps 网页、一个包含很多有用链接的网页(Hub 网 页)。 关键资源是一个主观但却非常重要的概念，它反映了与主题最相关的网页的特征。对于 网站来说，对其主题的概括往往是非常