基于用户行为分析的网页目录自动构建.pdfVIP

基于用户行为分析的网页目录自动构建 黄志毅刘奕群马少平 清华大学智能技术与系统国家霞点实验室北京100084 E-mail：yiqunliu(／b,,tsinghua．edu．cn 摘要：在过去的十多年里，互联网上的网站数量呈指数增长趋势，互联网上的网站数量已经突破1．5亿，而 网页数量更是达到数百亿。用户往往需要借助搜索引擎和网页目录才能从这样海量的网页当中找到符合自己需 求的高质量网页。传统的网页目录几乎都是采用人工构建的方法。这样的构建方法有着耗时多、不够客观、缺 乏一致性以及无法及时反映新闻事件和热点事件等缺点。因此，开展网页目录自动构建方法的研究对提高网页 目录的质量具有重要意义。本论文讨论和设计一种基于用户行为的网页目录自动构建方法。这种方法最大的特 点是能够及时的发现最新的新闻时间和热点事件并在目录中以单独的类的形式表现出来。目录的构建核心步骤 有高质量网页提取，网页关键词提取以及网页聚类三步，每一步都是基于用户行为实现的。 关键词：网页目录，高质量网页提取，关键词权值，聚类 Toward C D Basedon Automati Webi DeveI rectoryopment UserBehavi or ，HUANG Zhi．yi．LIUYi-qun State Lab and 100084 Key ofIntelligentTechnologySystemsTsinghuaUniversity,8eijing E·mail：．yiqunliu盈tsinghua．edu．cn Abstract：Inthe thenumberofwebsitesontheIntemet arcmolethan150 decade past growsexponentially．There is forweb-u,．．qcrsto millionwebsitesonthe theauraberofwebhasexceeded10biIlion．It Intemet,and pages impossible find whichmeettheir withoutthe ofSearchandwebdirectories． higll·quality requirementhelp engines pages particular Alrnosta11 directoriesarehuman-editeddirectories．TheofsuchwebdirectoriesiSoffset conventionalwcb Strength by its of of hot longdevelopmentperiod,．subjectivity,lackcoherence：andincapabilitypresentingtopics．Thispaper focusesonthe and ofanewweb me岫dbasedonuserbehavior．111e designimplementat