新技术水平下Web数据自动采集与维护技术研究综述.pdfVIP

软件应用与设计●———一 SoftwareApplicationandDesign 新技术水平下Web数据 自动采集与维护技术研究综述 杨 渊林 (内蒙古政府房产管理中心，呼和浩特 010010) 摘 要：由于互联网技术的飞速发展，Web信息急剧膨胀，传统搜索引擎注重查全率而查准率不足，导致Web 信息搜索越来越 困难。本文通过对web数据 自动采集与维护技术的分析，试图对用户身份验证、导航UKL提取、 翻页URL提取、页面属性字段的提取、数据去重等DeepWeb数据集成关键技术做探索性的研究，对各种方案进行 了尝试和比较，然后给出了最优的解决方案，为进一步的研究提供了基础。 关键词：Web；DeepWeb；数据 自动采集；数据抽取 中图分类号：TP391．3 文献标识码 ：A 文章编号：1674—