面向糖业的专业搜索引擎研究与设计-计算机应用技术专业毕业论文.docxVIP

摘 摘 要 摘 摘 要 摘 要 随着Internet技术的飞速发展，互联网络上的信息量正以几何级数的速度飞速增 长，怎样在这浩如烟海的网络信息中找到用户需要的信息己经成为Internet上一个非 常重要的研究课题。Google、Baidu等通用型搜索引擎系统在检索专业内容时，用户往 往找不到他们真正需要的内容。本文旨在研究开发面向某一行业的搜索引擎以满足特 定领域信息检索的需求。 本课题是在与广西东糖集团合作研究开发的甲糖煮糖自动控制系统的基础上 展开的深入研究，在Java的全文索引引擎工具包Lucene基础上，通过对Lucene设计原 理进行分析，设计开发了一个面向糖业的专业搜索引擎。提出面向糖业的专业搜索引 擎的研究思路，对开源项目Lucene的实现机制及自带的中文分词算法和网页排序算法 进行了深入研究，通过分析Lucene的系统结构、数据流和索引文件格式，指出Lucene的 中文分词器功能太弱、网页排序算法性能不高等缺点，对Lucene的中文分词技术和网 页排序算法进行扩展与优化，顺利地开发运用到面向糖业的专业搜索引擎中。 在对Lucene的扩展方面，主要作了以下两方面的研究工作: (1)中文分词算法的重新设计。为进一步提高分词的切分速度，充分发挥现代计 算机内存空间大的优势，重新设计了分词词典结构，并在该分词词典结构上设计实现 多次Hash中文分词算法，使其不但结构支持首字Hash查找，而且还支持对剩余词进 行Hash查找。通过理论分析得出该算法时间复杂度比同类算法的时间复杂度相对要 低，并且在系统实现运行中可发现该算法有较好的分词效果。 (2)基于Lucene的网页排序算法进行改进。融合当前几种著名的算法思想，将关键 词与文档的关系、用户行为、链接关系、网页响应时间和刷新频率作为影响网页排序 顺序的因素考虑进来，并分别赋予不同的权值一并进行计算。经过实验分析表明，改 进后的Lucene网页排序算法搜索到的结果能更好地满足用户的需求，排序效果有明显 改进。 本文还详细介绍了面向糖业的专业搜索引擎的具体实现过程，对系统的Web信息 抓取、文本预处理、中文分词、信息索引、信息检索等各功能模块进行详细介绍。在系 统设计实现的过程中，将所设计的多次Hash中文分词算法运用在中文分词模块中，改 进后的Lucene网页排序算法运用到信息检索模块中。通过实验证明，在Lucene上二次 开发设计的面向糖业的专业搜索引擎系统的实验效果能够达到预期目的。 关键词:Lucene;Hash;面向糖业专业搜索引擎;中文分词;网页排序算法. 万方数据 I – – – PAGE IV – 万方数据 – – PAGE III – 万方数据 Abstract With the rapid development of the Internet technology, information on the Internet is growing with the speed of geometric series. How to find the information users need in the vast network has become a very important research topic on the Internet. Integrated search engines such as Google，Baidu, they are hard to find the specialized content which is needed by users. An industry-oriented search engine which is to meet the special need in the field of information retrieval was researched and designed in this article. The issue is in-depth analysis based on the topic of a boiled sugar automatic control system which is researched and developed with Guangxi East-Sugar Group.This paper focuses on Lucene which is a package of Java based full-text indexing engine. A sugar- oriented professional search engine is designed in this paper by analyzing it