面向专利文献的汉语分词技术研究.pptVIP

  面向专利文献的汉语分词技术研究 姓名：岳 金 媛 导师：徐金安 张玉洁 学校：北京交通大学 1 课题背景及意义 2 实验原理及方法 3 实验数据及结果 未来工作计划 讲解纲要 一、课题背景及意义 分词是NLP的重要基础、核心技术 中文分词的难点： 分词规范、歧义切分、未登录词的识别 当前中文分词工具的特点 算法不断改进、精度不断提高 特定领域内分词精度可达97%以上 专利文献的分词精度低下80%以下 二、实验原理及方法 专利文献的特点 专业性强 形式规范语言严谨，较少出现歧义 大量的术语定语嵌套现象 存在数据稀疏现象 某些术语内部存在符号标记(2-二甲基环丙醇) 二、实验原理及方法 二、实验原理及方法 ICTCLAS工具粗切分 各/r 向/p 异性/n 线/n 来自/v 于/p 逆变换/v ,/w 该/r 逆/n 变化/v 将/p 几何/n 基元/n 表面/n 上/f 的/u 点/q 映射/v 至/p 纹理/n 映射/v 中/f 的/u 点/q ./w 二、实验原理及方法 NC-value算法运用规则提取初步术语 术语构词特点(多为名词性短语,最后1-3个字 大多是其中心词) 词性标注信息 上下文信息 语料切分标记(标点、提示语、数字等) 二、实验原理及方法 术语提取的正则式实例 名词+名词 n+n （形容词|动词|名词）+名词 (a|v|n)+n 名词+（名词|动词|量词|未识别的词） n(n|v|q|x)* 说明: +表示出现一次以上，*表示出现零次以上 二、实验原理及方法 NC-value值计算公式 其中，a表示候选的字符串，|a|表示字符串a的长度，f(a)表示字符串a的词频，Ta表示包含字串a的术语，b表示Ta中任意的包含字串a的术语，P(Ta)表示包含字串a的术语总数，fa (b) 表示b在字串a的上下文中出现的次数 阈值设为0.0169，即若NC_value值大于阈值，就判定该词为一个专业术语 二、实验原理及方法 条件随机场(CRF)统计训练提取低频率术语 四词位标注集 标注符号 不同词长的标注形式 B(术语的首字); BE(2字术语); M(术语的中间字); BME(3字术语); E(术语的尾字); BM...ME(大于3的术语); O(非术语); O/O...O(非术语) 二、实验原理及方法 特征模板 特征类型 特征模板 Unigram(一元) Cn,Sn n=-2,-1,0,1,2 Bigram(二元) CnCn+1,SnSn+1 n=-2,-1,0,1 说明: C表示当前字，S表示词性特征 三、实验数据及结果 实验语料 训练集：NTCIR-9会议的PatentMT任务提供的10万句生语料的汉语专利数据 测试集：103篇专利文献(摘要、说明书、权利要求) 在训练语料中抽取8000句作为专业术语提取 结果的抽样评价数据 三、实验数据及结果 评测方法 三、实验数据及结果 术语提取实验抽样结果 术语提取方法 准确率P/% 正确术语 /条 识别术语 /条 Nc_value算法 85.29 87 102 CRF算法 78.85 179 227 三、实验数据及结果 开放测试下实验结果 分词方法 准确率P/% 召回率R/% F-测度值/% ICTCLAS分词系统 71.65 85.42 77.93 本实验方法 95.56 96.18 95.87 四、未来工作计划 语扩充语料规模、减少数据稀疏的影响 挖掘新的语言学规律 加强利用上下文信息 研究英汉平行专利文献的分词技术 谢谢！