互联网信息定向采集的研究.pdfVIP

互联网信息定向采集研究① 刘金刚 都云程 北京信息工程学院100101 63．corn flyin998—02@1 摘要：本文提出了一种互联网信息定向采集方法。通过对互联网的定向搜索， 对网页的内容进行分析处理(分词、建立VSM向量、计算网页内容相关度)，实现 在互联网上有选择地采集用户需求的内容，并进行存储。它与广度优先搜索和深 度优先搜索相比，有更高的效率和更小的代价。系统资源和网络资源消耗很小， 更新快，比较接近当前的Web，用户个性化满足好。此系统可进行专题研究，可 形成立体的专题库(时间和空间)，进行历史资料的积累和查阅。 关键词：定向采集，向量空间模型，搜索引擎，网络挖掘 一、引言 随着互联网信息多的增长，通用的搜索引擎已经不能满足特定用户更深入的 查询需求。同时，这样的通用搜索引擎在目前的硬件条件下(如Google使用了 15000多台位于不同数据中心的计算机，来索引全世界范围内的站点)，由于要采 集整个互联网，工作量十分巨大(如Google宣称它搜索网页数量达到80亿)，因此 要及时更新以得到互联网上较全面的信息是不太可能的(如Google更新时间是几天 到一个月左右)。针对这种情况，我们需要一个分类细致精确、对硬件要求低，数 据全面深入、更新及时的面向主题的搜索引擎。由于主题搜索运用了人工分类以 及特征提取等智能化策略，因此它比通用搜索引擎将更加有效和准确，具有以下 优势： 首先，能更好地满足以下的信息获取的原则： (1)主动、及时原则：信息获取工作要主动，要及时发现、及时捕捉和获取各 ①基金项目：国家自然科学基金项目I北京市教育委员会科技发展计划重点 项目(KZ200310772013)。 类信息。 (2)真实、可靠原则获取的信息要符合客观事实，正确无误。 (3)针对需求原则：信息获取要根据用户的需求，有针对性、有重点、有选择 地获取利用价值』=的，符合需求的信息。 (d)全面、系统原则：有针埘性．有重点的获取是在全面、系统地进行信息获 取的基础上进行的。 其次，它还有传统搜索引擎所没有的优点： (1)用户自己可以设置信息源和所需信息类型； (2)具有信息自动化、本地化、集成化，最新化的特点。 二，研究的目标和方法 根据卜面的研究可知我们的需求是：一个分类细致精确、对硬件要求低，数 据全面深A、更新及时的面向主题的搜索_f擎，实现在互联网上有选择地采集用 户需求的内容并进行存储。 l—l研究目标 基于上述需求．我们需要提出一种根据用户需求，在互联阿上自动地搜索用 户需求的资料的实现方法，即主题搜索。 I二l研究的方洼 我们先研究了互联网t的网站和网页的组成。一个页面主要由页面正文(有些 时候可能投有)、超链接组成。 m女t●ⅣnwI自#^I*＆^日Ⅵ 。。．．，。，，* 一，一…一m…1“ 。=孺” ；毒冀嚣：。嚣：：：：船激：凳絮。篇嚣嚣嚣裂f 二：：嚣：嚣 瓣誓㈣删勰茹淼燃勰搿；；娶蠹 耋瓣麟燃瑟戮黔： ■^ⅧⅧ 目日■t…一…■…… ㈣㈣Ⅱ* 熊幽蟛i懒峨：j蔓：蔓誓墨溉孽黔“j’蔓 ‘nkⅫ㈣m}㈣㈣ ㈣Ⅷ㈣m “∞*㈣㈣∞∞}H …㈣㈣ JEx■‰￡瞰㈣l恻 图l互联网上的贞面 在页面上我们还定义了区域的概念，区域指的是在页面上位置相邻。内容相 关性很高的一个区域，是由人们的排版习惯而产生的。 下圈是区域的示例。 斌蹦凿崩酗瞄I脖囊 j 葡蕊i一————一 温塞室皇鎏垦蔓矍垒遮盟史选羞嚣置出五点建选 连笪题璺!l羹塞煎望j￡盥速