信息检索课件精简版分析处理.pptxVIP

检索系统的一般模式检索结果用户需求匹配互联网格式分析与转换编码分析与转换词汇分析与处理结构分析（文本分割）类别分析（文本分类）索引库网页采集分析处理网页建立索引第1页，共18页。分词对中文搜索引擎的影响Google6/20“瑞星以技术和服务开拓网络安全市场”“陈慧琳《心口不一》化妆和服装自己包办”百度14/20“商品和服务实行明码标价”“青岛东和服装设备”中搜20/20搜索引擎结果中的错误，是由于分词的不准确造成的。中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的影响。第2页，共18页。无关网页从哪里来？检索结果用户需求匹配互联网索引库网页采集分析处理索引策略……技术和服务……按字技 术和 服 务按二元语法技术 术和和服 服务按词技术 和 服务瑞星以技术和服务开拓网络安全市场建立索引第3页，共18页。中文分词分词是将连续的字序列按照一定的规范重新组合成词序列的过程瑞星以技术和服务开拓网络安全市场瑞星 / 以 / 技术 / 和 / 服务 / 开拓 / 网络安全 / 市场中文分词与其他分词不同英文中单词之间是以空格作为自然分界符中文只是字、句、段有明显的分界符词没有一个形式上分界符从字串到词串，是一个降低不确定性的过程。第4页，共18页。正向最大匹配法信息检索课程是三个学时。……课程……信息检索……学科学时学问……分词词表第5页，共18页。正向最大匹配的问题最大词长词长过短，长词就会被切错词长过长，效率就比较低分词歧义“瑞星以技术和服务开拓网络安全市场”第6页，共18页。分词歧义发现问题双向最大匹配分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务……第7页，共18页。歧义字段的链长链长：交集型歧义字段中含有交集字段的个数， 称为链长。链长为1： 从小学链长为2： 市民政局链长为3： 为人民工作链长为4： 结合成分子时链长为6： 努力学习语法规则第8页，共18页。软件实现3：长链歧义字段获取输入1998年1月人民日报电子版输出歧义字段按链长降序排列，前100个要求：1人完成第9页，共18页。分词歧义发现问题双向最大匹配分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务……歧义字段库……市民政局 1300为人民工作 12020结合成分子时 201201技术和服务 20120……第10页，共18页。软件实现4：歧义字段规则库获取输入1998年1月人民日报电子版输出歧义字段规则库要求：1人完成第11页，共18页。最大概率分词S: 有意见分歧W1: 有/ 意见/ 分歧/ P(W1|S)W2: 有意/ 见/ 分歧/ P(W2|S)单词概率…………有0.0180有意0.0005意见0.0010见0.0002分歧0.0001…………P(W1) = P(有) * P(意见) * P(分歧) = 1.8 × 10-9P(W2) = P(有意) * P(见) * P(分歧) = 1×10-11P(W1) P(W2)第12页，共18页。软件实现5：汉语分词系统输入任意一段文本可能包含中文标点、西文标点、阿拉伯数字、西文字符输出分词结果词之间用“/”分隔要求双向最大匹配发现歧义片断利用歧义片断库解决分词歧义未解决的用最大概率分词可3人完成第13页，共18页。准确率、召回率、F值准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值F值准确率和召回率的加权平均一般用F1第14页，共18页。准确率、召回率、F值准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值在分词性能的度量时： Precision = 切分正确的词数 / 系统切分出的词数Recall = 切分正确的词数 / 标准答案的词数第15页，共18页。准确率、召回率、F值在分词性能的度量时： Precision = 切分正确的词数 / 系统切分出的词数Recall = 切分正确的词数 / 标准答案的词数举例某分词系统的切分结果瑞/星/以/技术/和服/务/开拓/市场标准答案瑞星/以/技术/和/服务/开拓/市场第16页，共18页。准确率、召回率、F值准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值在作为搜索引擎性能的度量时： Precision = 搜索到的相关文档数 / 搜索到的全部文档数Recall = 搜索到的相关文档数 / 网上全部相关文档数第17页，共18页。准确率、召回率、F值在作为搜索引擎性能的度量时： Pr