实现一个垂直育儿搜索引擎系统探索.docVIP

实现一个垂直育儿搜索引擎系统探索 　　【摘 要】随着计算机技术和互联网技术的飞速发展，并逐步向社会各个领域渗透，各行各业都开始使用网络来获取和发送信息。育儿领域也是如此，越来越多的育儿信息用户选择利用网络来获得育儿信息支持。面对丰富而繁杂的网络育儿资源，育儿用户惊喜和无奈并存，惊喜的是网络育儿资源丰富而全面，无奈的是查找总是很麻烦。如何有效地整合这部分资源，为广大育儿信息用户提供方便？搜索引擎技术发展了十几年，已经渐趋成熟和完善，垂直搜索技术业已开始深入到各行各业，并取得成功的应用；育儿领域至今还没有出现任何类型的专业搜索引擎，广大的用户群体都在期待着能有一个专业而实用的垂直搜索引擎帮助他们获取所需要的信息。本文作者采用成熟的技术和一些开源代码构建了一个垂直育儿搜索引擎模型，希望抛砖能够引玉，引起广大同行的注意。 　　【关键词】搜索引擎；垂直搜索引擎 　　1.垂直育儿搜索引擎开发工具组件 　　本搜索引擎系统主要由搜集子系统、检索子系统和查询子系统三大部分构成，运用.NET平台和SQLServer2008大型数据库、开源Lucene.Net软件、开源盘古中文分词等技术实现，具备垂直搜索引擎的完整结构和功能。其内核部分包括：抓取程序、分词程序、索引程序、检索程序等。 　　本系统开发的硬件和软件环境如下： 　　硬件环境：CPU类型P4，内存1GB。 　　操作系统：Windows SP2 　　Web服务器：IIS 6.0 　　数据库系统：SQL Server 2008 　　开发工具：visual studio 2008 　　本系统中有些模块是参考了开源代码以后，在此基础上进行改造的，具体包括： 　　本文的抓取程序Crawl参照My Downloader运用.Net平台C#语言开发 　　本文的分词程序PanGu.Lucene.Analyzer运用PanGu分词组件和Lucene.Net分词技术开发。 　　本文的索引、检索程序采用Lucene.Net的框架，利用C#语言开发。 　　2.垂直育儿搜索引擎的资源抓取 　　2.1 育儿资源发现 　　这是为垂直育儿搜索引擎提供数据来源的保证，寻找符合育儿主题的资源网站和网页地址，能有效提高垂直育儿搜索引擎的数据收录情况。要完成育儿资源的定题搜索和下载，有两种途径：一是???定URL，人工控制下载；二是通过给定育儿类关键词，对锚文本进行判断，判断它是否是此类网站，然后进行下载。本文用第一种途径，历经2年的时间，手动完成国内育儿类网址的遍历，基本上保证了所收集的育儿类网站都是专业和稳定的。 　　本文的初始育儿资源发现策略有： 　　利用网址导航。 　　网址导航能较集中地提供部分育儿类网址，把每个网址导航里的育儿网址记录下，综合后去重，得到部分育儿URL列表。 　　利用通用搜索引擎。 　　用育儿、宝宝、0-3岁、0-6岁等作为关键词在多个通用搜索引擎上搜索，集中抽取育儿URL，得到部分育儿URL列表。 　　利用web2.0育儿社区、育儿博客。 　　有些网友总结出来的“育儿网址大全”，也都很好，分析之后，得到部分育儿URL列表。 　　通过权威育儿网站的超链接。 　　权威的专业育儿网站页面上的网址列表，都是比较稳定的育儿类网站的URL。 　　2.2 育儿专题信息抓取 　　本抓取程序Crawl是参照My Downloader 　　在.Net平台上运用C#语言开发的[1]。My Downloader是由由巴西人Guiherme Labiqalini编写的C#语言类下载程序，可支持多线程、可控制、可分段下载。My Downloader的主要特点入下： 　　它可以给定站点下载。即通过界面，你可以手动输入一个网站地址，让它整站地下载这一网站内的所有资源。 　　它可以批量导入站点地址下载。通过本地文本文件或者HTML格式的文件，可以批量导入一些网址，供它一个网站一个网站地下载。 　　它可指定媒体类型下载。可完整下载整个网页的内容也可只下载单独媒体形式的内容，比如只下载图片，只下载mp3，只下载视频，只下载文本等。 　　网络育儿资源蜘蛛程序的抓取过程截如图1所示。 　　下载的资源以文件的形式存放在指定的文件夹下如下图2所示，这些文件是生成检索返回记录：摘要、网页快照、超链网址的基础资料。如果抓取器跟索引器链接起来以后，是一边下载一边索引的，我们便看不到这些文件了。 　　3.育儿网页内容的分析 　　我们主要抽取4部分信息：head、title、body、href。其中head中的内容是决定title中关键词权值的。title起着概括全篇的作用，有研究表明97.8%网页，其title中的关键词就是本网页内容的关键词[2]。body里面是网页的基本内容，其