【论文】浅析基于Lucene框架的网络论坛信息分析与实现.pdfVIP

ISSN1009-3044 年第 卷第 期(总第 期) 2008 3 7 25 电脑知识与技术 ComputerKnowledgeAndTechnology , Vol.3,No.7,September2008,pp.1386 浅析基于Lucene框架的网络论坛信息分析与实现 刘 菲 (同济大学软件学院,上海 ) 201804 摘要:在当今互联网的各大论坛,帖吧,个人空间, 中存在着非常多的网友发布的薪水,职业,等方面的信息。如在各大高校的 BLOG 中,每年到应届生加入求职大军时,相当一部分学生会就各公司的薪水状况,福利待遇进行询问以及讨论,而一部分得到公司 BBS 职位的学生亦会在一定程度上公布公司的薪水待遇状况。这一类各公司的薪水信息,对于以后学生的求职,职业人士跳槽,具有相 当的参考价值。同样,在各大论坛,互动社区中,都会有相当大的薪水信息帖。 很不幸的是,这些薪水讨论帖子淹没在浩淼的互联网中,并且通过互联网在大陆近十年来发展积淀,此类信息已经达到了海 量。利用成熟的 框架,文本检索理论( ),以及相关的分词,归类,索引技术,将这些信息,按照网友提交的 Lucene InformationRetrieve 关键字进行抽取与分析。按网友需要搜索出具备参考价值的职业信息。为网友的求职,跳槽,提供决策支持。 关键词:网络;数据;搜索;中文切词;公司待遇;公司评论; Lucene 中图分类号: 文献标识码: 文章编号: TP391 A 1009-3044(2008)25-1386-02 WebForumDataAnalyzingBasedonLucene LIUFei (TongjiUnversity,SoftwareCollege,Shanghai201804,China) Keywords:Internet;Search;Chinesesplit;Salary;Lucene 1引言 随着十数年互联网在大陆地区的发展,网民数量,互联网技术的使用已经得到了相当大的提高与进步。与此相伴的,是网络数 据呈几何级的增长。这其中,有数以亿计的信息存在 在浩淼的网络中,特别是一些相当有参考价值的数据 信息。例如,关于一个公司的薪水信息,职业发展信 息,福利,评论等信息,这类信息广泛地存在与网络中 的论坛,个人空间等互联网载体中。而当今的各大搜 索引擎,因为其 的规则,使的一些具备相当 PageRank 价值的此类信息不能被准确的搜索到,而一些信息获 取框架的发展成熟,使得重新建立基于此类信息的搜 索引擎以及搜索规则成为可能。例如 全文索引 Lucene 框架,同比其他同类框架,是一款相当成熟的建立索 引开源技术架构。 初探 2Lucene 介绍 2.1Lucene 是一款基于 语言开发的开源全文 Lucene JAVA 检索工具包,它提供基本的分词,索引建立,全文搜索 等功能 ,使得全文检索功能开发者可以按照项目 API 所需,开发基于需求意图的全文检索项目。其主要构 架如图 1。 如图 所示,基于 的应用,其核心是索引 1 Lucene ( )的建立于使用。 对采集到的数据建立索 index Lucene 引,然后按照用户需求,对用户的搜索请求进行分析 及切词,搜索所建立的索引,反馈给用户搜索结果。 图1 收稿日期: 2008-05-16 作