《会议论文焦妍》.ppt

基于机器学习方法与搜索引擎验证的缩略语预测;背景介绍 缩略语预测算法 基于序列标注模型的缩略语候选生成 基于搜索引擎返回结果的重排序 实验结果 结论与展望;背景介绍 缩略语预测算法 基于序列标注模型的缩略语候选生成 基于搜索引擎返回结果的重排序 实验结果 结论与展望;缩略语：缩略语是由较长的语词缩短省略而成的语词。比如“北京大学”的缩略语即“北大”。 缩略语是未登录新词的一大“贡献值”，为自然语言处理领域带来了诸多困难。 在自然语言处理中，缩略语的研究主要分成为以下四种 缩略语预测：给定一个完整形式，求出对应的缩略形式的任务。 完整形式扩展：给定缩略语，预测其对应的完整形式。 缩略语识别：从原始语料中识别出来哪些词语是缩略语。 缩略语挖掘：从原始语料发现缩略语及其对应的完整形式，构建对照表。 ;目前的关于中文缩略语的研究多采用机器学习的方法。 缩略语的形成受多种因素的影响，很难找到完全统一的规律。单纯使用机器学习方法或者规则方法都难以覆盖缩略语生成的各种现象。 Jiang, Liu和谢丽星的研究表明，充分利用已有的资源，特别是网络资源，对缩略语分析也具有很好的辅助作用。 基于已有的研究，本文提出了将机器学习方法与网络信息相结合进行缩略语预测。;背景介绍 缩略语预测算法 基于序列标注模型的缩略语候选生成 基于搜索引擎返回结果的重排序 实验结果 结论与展望;整体流程;整体流程;整体流程;整体流程;整体流程;整体流程;缩略生成模型 定义字母表X为所有汉字，标注集为Y={S;K}，其中S表示“略过”(skip)，K表示“保留”(keep)。从一个完整形式字序列X1X2..Xn∈Xn生成相应缩略语的过程如下： 1. 生成标记序列Y1Y2..Yn∈Yn； 2. 设其中所有标记为K 的指标从小到达排列为1≤i1i2 ..im≤n； 3. Xi1Xi2..Xim∈Xm即为相应缩略语字序列 ;ＣＲＦ模型;特征模板;为了检验重排对Top-1的影响，同时控制计算复杂性，本文只选择CRF的前10个候选。 根据搜索结果中的标题title、摘要snippet，网页地址URL以及检索到的总结果数量resultNum;将每个候选在百度中搜索，取前20个返回结果进行分析。 基于标题的打分 titleAbbr(abbr): 候选abbr以强调的形式在多少个标题中出现。 titleFull(abbr) 完整形式full在多少个标题中出现 基于摘要的打分 ;对完整形式单独进行搜索，再与上一步得到的每个候选的搜索结果进行对比 基于标题的打分 取完整形式的前10个网页标题作为词典索引，指向title第一次出现的排序rank,以及其在前10个中的计数dicCount。 将上一步得到的缩略语搜索的每个标题，在词典中查询并根据排序rank赋予比对结果一定的权值1/rank。 基于URL的打分;对每个候选，搜索完整形式 简称 缩略候选 基于摘要的打分 摘要中可能出现的形式： 完整形式简称缩略候选 完整形式，简称缩略候选 完整形式 简称“缩略候选” … ;搜索完整形式 缩略候选，获取前20条搜索结果以及总共搜索结果数目resultNum。 基于resultNum的打分 例如，完整形式“影片来源” 基于摘要的打分 ;由上面的四种方法以及标记统计方法可以得到10个估值。分别对每个统计值count进行归一化： 因此每个值的范围都是[0,1]，经过参数为1的平滑处理，与CRF得到的概率值相乘得到最终的分值： 在综合计算后，便可以根据值的大小按降序排列，排在最前面的结果即为最优结果。 ;背景介绍 缩略语预测算法 基于序列标注模型的缩略语候选生成 基于搜索引擎返回结果的重排序 实验结果 结论与展望;;实验结果;背景介绍 缩略语预测算法 基于序列标注模型的缩略语候选生成 基于搜索引擎返回结果的重排序 实验结果 结论与展望;结论与展望;谢谢！