基于关键资源的网站自动分类系统.pdfVIP

第38卷 第 I期 哈 尔 滨 工 业 大 学 学 报 V司.〕8 2006年 1月 JOURNALOFHARBININSTITUTEOFTECHNOLOGY 220Y0o6.‘ 基于关键资源的网站自动分类系统 付德宇，代成琴，仲 玮 (哈尔滨工业大学网络与信息中心，黑龙汀哈尔滨 150001,E-mail;fdy@) 摘 要:针对网站表示难题，引入关键资源的概念，对网站关键资源进行了分析，设计了一个主页优先的网 站关键资源获取方法，给出了一个改进的TF-IUF公式用于计算特征的权重，并研究了关键资源特征抽取 的方法，最后提出了墓于关键资R的网站分类系统的模型. 关键词:网站分类;关键资源;特征抽取 中图分类号:TP399 文献标识码:A 文章编号:0367一6234(2006)01一0019一。 Awebsitecategorizationsystembasedonkeyresource FUDe-yu,DAICHENG-qin,ZHONGWei (NetworkandInformationCenter,HarbinInstituteofTechnology，Harbin150001,China,E-mail;fdy@) Abstract;Theconceptofkeyresourcewasproposedforwebsiterepresentation.Firstananalysisonthekey resourceofawebsiteisgiven.ThenamethodthatacquiresthekeyresourceofawebsiteandanimprovedTF 一IDFformulaforcalculatingthefeaturearepresentedandthemethodofthefeatureextractionofthekeyre- sourceisalsopresented.Lastly,awebsitecategorizationmodelbasedonkeyresourceisdescribed. Keywords;websitecategorization;keyresource;featureextraction 网站分类有助于改善Web信息的查准率，以 并且提供了对网站及其内容的简介;3)关键资源 雅虎、搜狐为代表的分类目录式搜索引擎采用的 和分类目录是不同的，它更关注于主题;4)一个 是人工分类方法，这种方法效率低、更新速度慢、 关键资源可能是一个和主题相关的网站的主页、 维护成本高，很难实现对互联网上动态变化的海 一个和主题相关的子网站的主页、一个与主题高 量网站进行有效的跟踪和管理，因此有必要对网 度相关的html,pdf,doe,p。网页，一个包含很多 站进行自动分类.网站 自动分类系统的任务是在 有用链接的网页(Hub网页). 给定的网站分类体系下，根据网站的内容自动地 关键资源是一个主观但却非常重要的概念 ， 确定网站关联的类别.网站自动分类可采用文本 它反映了与主题最相关的网页的特征.网站主题 分类模型，其难点是网站的形式化表示问题. 的概括往往是非常困难的，假定某一个网站总是 I 关键资源的定义 与某一个特定的主题最相关，那么该网站肯定应 该有一个关键资源来反映该主题，在这样的前提 关键资源(KeyResource)是文本检索会议 下，将对网站特征的分析转化为对网站关键资源 (TREC)为了描述Topicdistillation任务而提出的 及其链出网页特征的分析，将对网站的表示问题 概念，这个概念用以表示一个与某一主题最相关 转化为对网站关键资源的表示问题，为此围绕网 的网页或文档.在TREC