远距离词性标注在电子病历上研究.docVIP

远距离词性标注在电子病历上研究 　　摘要：词性标注是自然语言处理的一个重要组成部分，只有正确的标注才能使机器对自然语言理解准确。目前的词性标注系统只能对近距离的约束关系分析基本准确，若存在远距离约束关系，系统基本无法识别。文章基于最大熵模型和远距离搭配关系构建出的一种新的标注方法，可用于解决远距离标注可能产生的歧义。 　　关键词：自然语言；处理；词性标注；远距离标注 　　词性（Part of Speech，POS）是词汇基本的语法属性，通常也可称为词类。词性标注就是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。词性标注是自然语言处理中一项非常重要的基础性工作。词性标注作为连接分词与句法的中间步骤，它既能消除一部分由分词产生的歧义，也能为接下来的句法分析提供正确的分析帮助。 　　目前大部分统计语言模型是N-gram模型，其模型简单且有效，但是模型也存在缺陷。由于N值有限，模型只能处理短距离语言约束关系，不能有效处理长距离约束和语言递归现象，统计信息有时也不能反映真实的语言规律，这时，就会有歧义产生。 　　目前中文电子病历还处于空白期，针对中文电子病历的研究因为缺乏足够的语料，研究一直在缓慢地进行。相比于通用的语料库，电子病历存在标准不统一、各个医生的写作习惯不同、存在简写或包含专业词等情况。这些都无法依靠通用语料库来解决。 　　本文内容主要从以下几个方面展开：第2节主要介绍远距离词性标注的几种歧义；第3节介绍这种标注歧义的解决方法；第4节介绍电子病历与词性标注的结合。 　　1.远距离标注歧义 　　目前现有的词性标注能解决大部分问题，但是针对歧义以及部分问题存在不足，采用Stanford NLP工具进行测试，进一步说明问题。 　　由于汉语存在一些固定搭配，例如：因为…所以…，不仅…而且…等。这些搭配本来应该无视中间出现多少词，都应该保持词性的不变，但现今的大部分模型是根据概率与统计的，考虑词与词之间的互信息最多也只可能考虑到当前词的前后1-2个词。也就是说当固定搭配之间存在一定距离时，词与词之间的联系不强，基于统计的话概率可能不高，这样对于词性标注很有可能产生歧义，针对这种现象，笔者做了一些测试。 　　1.1固定搭配：一…就… 　　“一…就…”这种结构一般情况下将其标注为副词词性，例如下面这句话： 　　他/PN一/ADq：/VV就/AD是/VC 30年/NT 　　“一”在这里标注为副词（AD）。从北京大学语料库CCL中以“一…就…”这种结构提取出189个句子作为语料进行测试，结果发现： 　　（1）他/PN一/AD睡/VV就/AD很/AD难/AD被/SB叫醒/VV。 　　（2）他/PN一/CD睡/VV过/AS觉/VV就/AD精力/NN充沛/VA。 　　由上面几个例子可以看出来，当一…就…之间只有一个词的时候，对于“一”的标注都为副词，标注正确。但是两者之间有两个词的时候，系统可能将其识别成数词。通过测试发现“一…就…”结构出现错误一般在将“一”的词性由副词词性标注为量词词性，通过测试189个句子发现出现标注错误的句子有36个，正确率为80.9%。 　　1.2固定搭配：从…到… 　　从…到…这个常见的固定结构一般情况下将其标为介词，以北京大学CCL语料库中包含“从…到…”结构的751个句子作为测试语料，运用Stanford segmenter以及Stanford postagger作为测试工具，由此可以发现系统存在以下的情况： 　　（1）从/P北极/NR到/P南极/NR太/AD远/VA了/SP。 　　（2）从/P北京/NR到/P西安/NR有/NE1000/CD公里/M。 　　由上面的例子可以看出，当“从…到…”之间连接的是一个词的时候，“到”的标注一般为介词词性（P），这种标注正确，但是当中间词过多时，就会出现以下情况： 　　（1）从/P寒冷/VA的/DEC北京/NR到/VV温暖/VA的/DEC西安/NR有/VE 1000/CD公里/M。 　　（2）从/P有/VE北极熊/NN存在/VV的/DEC北极/NR到/VV企鹅/NN存在/VV的/DEC南极/NR太/AD远/VA了/SP。 　　由上面的例子可以看出来，句子主要意思并没有发生变化，但是通过增加修饰语，使的“从…到…”之间的距离发生变化，“到”的词性由介词（P）变成了动词（vv），显然存在标注错误。 　　可以推断出这种错误是由于固定搭配之间的距离变远了，使系统无法正确识别出来。测试了751个句子，发现存在“从…到”标注错误的句子有212个，正确率只有71.8%。 　　2.改进措施 　　针对以上情况，笔者提出以下方案。 　　2.1针对“一…就…”结构 　　通过上面的测试，可以发现：“一…就…”这个结构出现时，一