广东工业大学精品课程.pptVIP

协同计算与知识工程 协同计算与知识工程 数据挖掘 滕少华 广东工业大学 协同计算与知识工程 9.3 跨语言智能学术搜索系统 9.3.1 混合语种文本分词 9.3.2 基于机器翻译的跨语言信息检索 9.3.3 不同语种文本的搜索结果聚类 9.3.4 基于聚类的个性化信息检索 9.3.5 基于聚类的查询扩展 9.3.6 其它检索便利工具 9.3.7 系统性能评估 * 9.3.1 混合语种文本分词 汉语词法分析系统ICTCLAS 中文分词；词性标注；关键词提取；命名实体识别；未登录词识别 分词正确率高达97.58%(973专家组评测)；未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%；处理速度为31.5Kbytes/s Lucene 高性能文本分析器，可根据单词间的空格进行分词 大小写转换、不规则符号过滤、停用词过滤(Stop words filtering)、词干提取(Stemming) * 整合ICTCLAS和Lucene混合语种分词策略： 输入一个文本； 采用ICTCLAS对所输入文本进行中文分词以及词性标注处理； 提取标注为“x”词性字符串，采用Lucene标准分析器(StandardAnalyzer)进行第二趟分词，对输入字符串进行大小写转换、不规则符号过滤、停用词过滤、词干提取； 文本是否已经处理完，如果否则转(1)； 结束。 * 9.3.2 基于机器翻译的跨语言信息检索 基于统计的机器翻译方法已经具备用户可接受的准确率 Google翻译是基于统计方法的机器翻译 研究结合Google翻译和元搜索技术实现基于机器翻译的跨语言学术检索 * 实现流程： 用户输入查询词并选择目标语言； 若目标语言与源语言(查询词所属语言)相同则转(3)，否则将查询词翻译成目标语言，作为新的查询词； 将查询词提交到搜索源； 返回搜索结果。 * 8.3.3 不同语种文本的搜索结果聚类 对不同语种文本采用不同的聚类算法： 使用Lingo搜索结果聚类算法对西语文本进行聚类处理 采用一趟聚类算法对中文搜索返回结果进行增量多层聚类 * 9.3.4 基于聚类的个性化信息检索 个性化信息检索主要是通过用户兴趣模型对搜索返回结果进行个性化重排序和个性化过滤返回结果等方式实现 介绍方法的流程： 观察用户对聚类结果的点击行为，实时提取用户的兴趣偏好 生成并更新用户实时兴趣模型 采用余弦夹角公式计算兴趣模型与搜索结果相似度 按照相似度从大到小对其进行重排序，以实现个性化的检索需求 * 9.3.5 基于聚类的查询扩展 通过查询扩展技术，搜索引擎系统能较好地理解用户的查询意图 采用基于局部分析的聚类分析方法 选取可读性强的聚类结果类标签作为扩展词 提供交互式的扩展词选择方式 * 9.3.6 其它检索便利工具 面向文献来源网站(URL)的层次归类方法 “.com”、“.cn” “.” “” 基于文献发表期刊或者会议的归类方法 引用文献聚类功能 按相似度排序、按时间排序、按被引用次数排序 * 9.3.7 系统性能评估 系统的分词速度为111 kb/s MT CLIR(Machine Translation CLIR)的短查询词、中查询词和长查询平均准确率分别为0.4446、0.5536和0.617 MCIBC和Lingo的微平均F-Measure值分别达到了0.4917和0.5178 个性化排序方法得到了较高的P@5、P@10和P@20值(均高于0.5) * 部分系统截图 * * * * * 协同计算与知识工程 协同计算与知识工程