基于字典中文切词系统在北京市精品课程平台中设计与实现.docVIP

基于字典中文切词系统在北京市精品课程平台中设计与实现 　　摘要 随着信息量的不断增长,搜索引擎在网站中所起到的作用显得越来越重要,如何通过搜索引擎获得丰富的信息,成为用户关心的重要问题。通过设计实现基于字典的中文切词系统,并对不同格式的文件进行数据挖掘,改进北京市精品课程平台的搜索引擎。 　　关键词 Lucene;中文切词;搜索;数据挖掘;SEO 　　中图分类号:TP391 文献标识码:A 文章编号:1671-489X(2010)09-0003-03 　　Design and Implementation of Chinese Tokenize System in Beijing Quality Course Platform//Zhou Shuyi, Xu Xiaoliang 　　Abstract With the growing amount of information, Search engine is playing a more and more important role in a web Site. How to get rich information through the search engine has become a significant fact of the site users. This article discussed mining different format date and implements a search engine, including a Chinese tokenize system based on dict. It has improved the search engine of Beijing Quality Course Platform. 　　Key words Lucene; Chinese tokenize; search; date mining; SEO 　　Author’s address Modern Technological Center in Education of BJUT, Beijing, China 100022 　　 　　一般的教学与课程网站内的搜索条目,都是基于关键字的搜索。例如,输入课程名,返回结果是网站所包含此课程的信息;输入学校名,返回的结果是网站所包含此学校的课程信息。无论是课程名还是学校名,等等,都是基于关键字的搜索。 　　正在建设中的北京市精品课程网站由于规模较大,网上资源也越来越丰富,大量的课件信息不断增加到网站中。如果用户想获取包含某一条关键字的课件,在现有的搜索条件下,需要通过输入关键字,找到相应的课程,然后在课程网页下获取课件。过程既费时,获取的信息又不全面。如何能够直接通过网站内容的搜索,就可以获取所有包括内容关键字的课件信息?笔者在分析搜索引擎架构的基础上,设计并实现一个基于内容的搜索引擎,包括对中文进行处理分析的切词系统和基于Lucene框架的索引系统。搜索引擎采用Java语言编写,实现对服务器上存储的Word、Excel、PPT、PDF、txt格式的数据挖掘。 　　 　　1 理论基础 　　 　　1.1 LuceneLucene是Apache软件基金会Jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文2种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。 　　Lucene可以对任何数据做索引和搜索。不管数据源是什么格式,只要它能被转化为文字的形式,就可以被Lucene所分析利用。 　　1.2 API 　　1)Apache POI。Microsoft的Office格式非常复杂,往往包含各种文档属性信息、文档内的格式信息,有时候甚至包含复合文档。文档属性信息主要包括文档的标题、主题、摘要、类别、关键词等;文档内部的格式信息包括文档的字体、字号、表格、图表、其他OLE2的正文元素等。 　　POI就是通过OLE2模式访问Office文档,读取和修改Office的复杂文档格式。针对不同的Office文档类型,POI分别有针对性地提供访问接口,包括解析Word接口的HWPF、Excel的HSSF、PPT的HSLF,读取Office文档标准属性的HPSF。 　　2)PDFBox。PDFBox是一个可以操作PDF文档的Java PDF类库,它可以创建一个新PDF文档,操作现有PDF文档并提取文档中的内容。 　　 　　2 基