基于图像内容检索的主题爬虫设计方法-Core.PDFVIP

第25 卷　第2 期 广西师范大学学报: 自然科学版 V o l. 25　N o. 2 2007 年6 月 Jou rn a l o f Gu an gx i N o rm a l U n iver sity:N atu ra l Scien ce E d it ion J un. 2007 基于图像内容检索的主题爬虫设计方法 1 1 2 1 张　磊 , 林坤辉 , 周昌乐 , 毛红朝 ( 1 厦门大学 软件学院, 福建 厦门 36 1005; 2 厦门大学 信息科学学院计算机系, 福建 厦门 36 1005) ) 摘　要: 图像主题爬虫能获取网上特定主题的大量图像信息, 对专业搜索引擎及数据挖掘应用都具有重大价 值。针对 目前基于图像内容检索主题爬虫的不足, 提出了一种图像主题爬虫的设计方法, 设计了一种新的爬 虫系统框架, 采用了基于颜色累加直方图的方法进行图像的特征提取与特征匹配。最后提出了优化爬虫的方 法, 改进爬虫的搜索策略, 提高了爬虫的搜索效率。 关键词: 基于图像内容检索; 主题爬虫; 特征提取; 特征匹配 中图分类号: T P 39 13　　　文献标识码: A 　　　文章编号: 100 16600 (2007) 020 18204 爬虫是搜索引擎的关键部分, 它通常从一个初始的种子页面出发, 访问并下载w eb 页面, 分析w eb 页 面的内容并提取其中的链接, 然后访问链接中的页面内容再提取其中的链接, 如此往复循环。主题爬虫是 网络爬虫的一种, 主要应用在受限领域内进行面向主题信息的采集, 为搜索引擎的构建收集数据。 目前的主题爬虫大多是面向文本的, 较少是面向图像方面的。然而, 随着多媒体技术和计算机网络的 飞速发展, 数字图像的数量层出不穷, 图像的应用和传播也越来越广泛, 建立高效的图像检索机制成为 目 前迫切需要解决的问题之一, 而建立高效的主题爬虫则成了其中的关键问题。图像检索从性质上可分为两 种主要的方式: 基于文本的图像检索与基于内容的图像检索。基于内容的图像检索则解决了基于文本的图 像检索效率不高等问题, 它利用图像本身的一些特征, 如颜色、纹理、形状等进行索引, 具有传统基于文本 的图像搜索所不具有的优越性。本文介绍的是基于内容的图像检索主题爬虫。 1　基于图像的主题爬虫的构架 1. 1　系统组成 面向图像主题爬虫的整个系统可分为以下几个模块: 主题确定模块、初始种子模块、 模块、主题 sp ider 相关度分析模块。 ①主题确定模块。 主题确定模块是整个爬虫系统的重点之一, 它涉及到图像的特征提取问题。为统一格式, 方便图像特 征的提取和匹配, 本文只研究目前最流行的jp g 图像格式。事先由人工筛选出一组与主题相关的图像, 然 后根据特征提取算法由计算机提取出这些图像的特征, 作为该主题的特征信息。 ②初始种子模块。 初始种子模块确定了一个初始的U RL 种子集, 该种子集含有面 向特定主题 的较好 的种子站点 ( ) , 使得 模块能顺利的展开工作。该种子集一般由人工来确定, 以保证其可靠性。 U RL sp ider ③sp ider 模块。 Sp ider 模块从数据库中取出待处理的U RL 进行处理, 调用主题相关度分析模块进行主题相关度分 析, 过滤掉与主题无关的页面, 根据处理的结果对 进行分类管理, 并下载新的 , 最后将与主题相 U RL U RL 收稿 日期: (