基于全信息的网络文本信息去重算法研讨.pdfVIP

基于全信息的网络文本信息去重算法研究 李卫刘建毅王枞 北京邮电大学智能科学技术研究中心100876 E—mail：liw@nlu．caai。cn liujy@nlu．caai．cnwangc@bt—t．corn 摘要：Web上存在着大量内容相同的页面，网络重复信息的有效去除已成为改善Web信息采集系统性 能的关键技术之一。本文将全信息理论应用到网络文本信息去重算法的研究中，提出了一种新颖的页面去 重算法。该算法的基本思想是使用文档的关键词序列来描述文本的结构特征(语法信息)和内涵特征(语 义信息)，通过比较文档的关键词序列的重叠度，判断这两篇文档是否存在信息重复现象。实验证明，该算 法可以在显著提高抵抗文档噪声能力的同时，大大减少将相似文档淡判为相同文档的机会。 关键词：去重算法全信息语法信息语义信息关键词序列 The of Information--basedWeb StudyComprehensive Document Removal DuplicateAlgorithm LiWeiLiu JianyiWangCong ofPostsand 00876 CISTR，BeijingUniversity Telecommunications，1 E—mail：liw@nlu．caai．cnliujy@nlu．caai．cn wangc@bt-t．com the Abstract：Thereare identicaldocumentsacrossWeb．Theeffective removalhasbecome many duplicate oneofthemost to Webcrawlers．Inthis information importanttechniquesimprove paper,weapplycomprehensive intowebdocumentsremoval forwardanovel whichiscalledCIM theory duplicate algorithm，andput algorithm mainintuition CIMisaS Information-based behind follows．The fComprehensive Method)．The keyword ofthewebdocumentcanbeusedto itsstructure intensionfeature sequences depict feature(syntax)and the ofthe oftwo can whetherthereis documents，we (semantics)．Bycomparisonkeywordsequences judge information betweenthem．nle