企业网站信息检索系统的研究与实现.pptVIP

基于Lucene的企业网站信息检索系统的研究与实现 报告人：陈兵 指导老师：邰晓英 目录 研究背景与意义 研究目标与任务 研究方法和技术路线 关键技术和难点 进度安排 一：研究的背景与意义 搜索引擎技术的发展 企业信息化的发展 企业检索与Web搜索引擎不同 （1）企业信息与Web网页不同 （2）检索效率要求与Web检索不同 （3）安全管理与Web检索不同 （4）智能化和个性化与Web检索不同 国内外研究现状 （1）TREC2005提出将企业检索作为Web检索的继承课题，提出了两个典型的企业检索任务：专家检索和电子邮件检索。 （2）现有企业信息检索工具 IBM OmniFind Yahoo！Edition Google Mini Search Appliance Fast Search Transfer Endeca 二：研究的目标与任务 主要目标 设计和实现一个企业网站的信息检索系统： （1）索引采用倒排文件结构， （2）分词系统采用自适应分词方法， （3）搜索结果排序算法采用基于经典的TF-IDF查询相关度算法并加入时间衰减度因子的自定义排序算法，使检索结果更适合企业应用。 研究的主要任务 (1)基于Lucene的信息检索框架 (2)HTML、Word、Execl、PDF、XML等结构 化或半结构化文档的文本提取 (3)基于Hibernate的数据库数据源的提取 (4)Lucene的索引建立及优化 (5)开发Lucene分析器接口的自适应的中文分词系统 (6)适合企业特性的搜索结果排序算法 三：研究方法和技术路线 企业网站检索系统调研 用户检索需求考察 企业网站信息检索框架的开发 （1）文档解析，索引建立 （2）Lucene的中文分词器 （3）相关度排序算法（加入时间因子衰减度 ） 解析文档并建立索引 Html文档解析：JTidy Word，Execl文档解析：POI PDF文档解析:PDXBox 数据库的数据提取：Hibernate 索引建立和优化（Lucene Index) 中文分词 Lucene ChineseAnalyzer实现的功能 （1）支持中文数字匹配 （2）支持数量词匹配 （3）支持日期时间匹配 （4）支持电子邮件匹配 （5）支持英文、数字、中文混合分词 课题采用的分词器增加的功能 （1）支持分词粒度控制 （2）支持中文词典动态维护 （3）支持中英文噪声词过滤 （4）支持人名匹配 （5）支持地名匹配 （6）支持商品编码匹配 排序算法 Lucene默认的评分算法 课题采用的排序算法 在Lucene默认的评分算法上考虑时间因素，根据文档的日期信息设置不同的Boost 四：关键技术和难点 索引数据库的数据并实时更新索引 适合企业检索应用的中文分词系统 索引数据库类型的数据源 Compass和Hibernate的整合 Compass：对象搜索映射（Object/Search Engine Mapping ） Hibernate：对象关系映射（Object /Relational Mapping ） Hibernate充当了中间桥梁，主要负责对象到数据库的映射。而Compass又可以充分利用已有的对象，间接地与数据库联系，来实现对数据库的搜索应用。 中文分词系统 基本分词方法 （1）基于字典的分词方法 （2）基于统计的分词方法 （3）基于理解的分词方法 课题采用的分词方法 基于字典的分词方法 分词策略 （1）MM（2）RMM（3）全切分等 字典组织 （1）整词二分 （2）TRIE索引树 （3）逐字二分 （4）双字哈希 等 基于统计的分词方法 基于统计模型 计算概率 课题采用的中文分词 分词策略 首先用候选词典采用正向最大匹配(MM)分词,切分出部分结果,剩余没有切分交给正式词典,同样采取正向最大匹配(MM)分词,最后输出结果 字典结构 字典结构有三部分组成：首字Hash索引、次字Hash索引和剩余字串组 课题采用的中文分词 未登录词处理 （1）对提交给企业网站检索系统