基于野点学习的中文网页分类系统.pdfVIP

基于野点学习的中文网页分类系统 罗定生王馨浩吴玺宏迟惠生 c京火一爿言息科学技术学院智能科学系视觉与听觉信息处理国家重点实验室北京100871 摘要：网页分类，作为网页信息处理的～个关键技术，是一个典型的机器学习任务。然而由于网页数 据的多样性，使得该任务成为一类基于不完整数据学习问题。野点问题是导致网页数据不完整的主要原因 之一。网页数据中的野点大致包括；无意义网页，错误标记的网页或者位于多类类别边界的网页，以及类 别属性超出预定义类别标记集的网页等。这些存在于网页分类任务中的大量野点，严重影响了系统的分类 性能。本文在引入AdaBoost算法的基础上，提出了一种野点剔除策略，并基于此实现了一个中文网页分类 系统，实验结果不仅表明新系统具有较好的分类能力，也验证了野点学习的有效性。 关键词： 中文网页分类野点学习 AdaBoost算法 Outlier basedChinese Categorization Learning Webpages LUOXinhaoWANG WU CHI Dingsheng XihongHuisheng National onMachine and of Laboratory DepartmentIntelligenceScience， Perception PekingUniversity,Beijing，100871，China Abstract：Asthe of Chinese tasksuffersfroman varietywebpages．thewebpagescategorization imcomplete in asnon—sense databased reasonistheexistenceofoutliers data,such learningprocess．Onemajor training mislabeledor ontheborderbetweendifferent thatareoutof webpages，webpageslying categories，andwebpages the is basedonwhicha defined this categories，etc，Inpaper,明outlierlearningstrategyproposed，and webFlages isestablished，whereAdaBoost is foroutlier categorizationsystem algorithmadopted identifying．Simulation in resultsrevealthatthe outlier succeeds the proposedlearningstrategyiSeffective，and improvinglearning for performance categorization。 webpages words：Text Key categorization，outlierlearning，AdaBoost 1．引言 随着Intemet的迅猛发展，网页数据不断地呈指数增长，如何从涌现的海量网页信息进 行合理的管理和有效的利用成为一个热点研究课题。这一研究课