基于SDD改进算法的中文农业搜索引擎地研究.pdfVIP

申置农业工程学会2005年学术年会论文集 基于SDD改进算法的中文农业搜索引擎的研究 樊景超，周国民，周义桃 (中国农业科学院农业信息研究所，北京100081) 綦翼：信息检索是当今社会的热点话题，但是一般的搜索引擎涵盖面太广，个性化、专业化程度不够。本文利用潜在语义索引 (LSI)的最新技术SDD(半离散矩阵分解)算法来解决大规模网页索引计算的问题，在实践中根据稀疏矩阵的特点，对该算法进行了 改进，提高了检索计算的时间效率。在此基础上，结合《中国农业网站名录》中收录的6000余个网址，开发了网页自动抓取工具， 将抓回的网页利用SDD算法建立起语义索引，成功构建了～个中文农业搜索弓l擎。 美t诩：SDD，中文农业网页，信息检索 中啊分类号lTP393 中心(NARC)农业综合研究所农业情报研究部合作 0．引言 开展农业事例数据库构建和应用的研究，对基于SDD 算法隐含语义索引方法进行消化和吸收，在windows 随着互联网的迅速发展，信息检索己成为热点话 平台下开发出SDD检索引擎的corn组件。本文重点 题，但是当今绝大多数检索系统几乎能够涵盖社会的 介绍SDD算法和我们对它的改进，以及如何利用SDD 各行各业，这种通用型的检索系统使得专业性不够突 算法构建中文农业搜索引擎。 出。再有一般检索系统提供的基于关键词的检索也已 1．SDD算法 不能满足日益个性化的检索需求。潜在语义索引(LSI) 作为向量空间模型(VSM)的延伸，通过把一个大的 矩阵映射到一个低维得空间中来发现词与词和文档与 矩阵组成的，如公式(1)所示： 文档之间的语义关系。奇异值分解(SVD)是目前建 立潜在语义索引(LSI)使用最多的算法，但该算法由 哇0…0X 于分解时使用了浮点数，导致当文档比较多的时候， 0畦…0既 分解后的空间比分解前还要大而且运算速度慢。1996 压五…莲 年T．GKolda和D．P．O’Leary提出了一种改进算法 墨 来构建隐含语义索引空间，即SDD算法(Semidiscrete 00…味照 Decomposition)。SDD算法由于使用的数据结构仅使 用{．1，0，+ll便于计算机存储和表达，显著地提升了 计算速度，占用了更少的空间。日本国家农业研究中 x矩阵是由k个维数为m的向量组成，D矩阵是由k 心(NARC)农业综合研究所农业情报研究部的研究个大于零的实数组成的对角矩阵，Y矩阵是由k个维 人员将SDD算法用于日文网页和中文网页的信息检 数为n的向量组成，我们称之为k阶SDD。尽管每个 索，取得了比较好的应用效果，证明了基于SDD算法 矩阵都可以表示成m*n的SDD A：宇宇乱P．Pj 隐含语义索 篙葛…一’ 矩阵，其中ek是第k个向量，但是SDD的用处是计 基金顶目：国家863计划资助项目(编号：2002AA243041，2002AA243051) 算一种近似却用更少的阶。因为k阶SDD的存储空间 作者俺介：樊景超(1980一)，男，汉，辽宁，硕士研究生， 学生，从事农业信息技术的科研工作， 中关村南大街12号，kbdacaa@163．COfIl 所以可以很方便存储很多的条目。比如，一个高密度， 通讯作者：周国民(1969一)，男，汉，江苏，博士，研究员，博导，室主任， 从事农业信息技术的科研工作