基于VC_的人工分词及词性标注辅助程序设计与实现.pdfVIP

基于VC++ 的人工分词及词性标注 辅助程序设计与实现 马创新 李 斌 摘 要： 在语言研究中， 经常要对语料进行分词和词性标注， 使用VC++ 设计了一个人工分词及 词性标注辅助程序， 它能够根据预定的规则对标注后的语料进行检验， 发现违反规则的情况给予 提示， 并且还设计了一个小键盘， 减轻了标注者记忆词性标记的负担。 使用该辅助程序对大量的 古代汉语和现代汉语的语料进行标注。 结果证明， 该辅助程序既能够有效处理GB2312 编码的简 体汉字语料， 也能够处理Unicode 编码的繁体汉字语料， 有效地提高了人工分词及词性标注的速 度和正确率。 关键词： 分词； 词性标注； 辅助程序； VC++ 在 “从第几句开始标注” 前面的编辑框中输入开始标注的句 1 概述 数， 再点击 “开始标注” 按钮就可以进行标注。 在对话框中 在语言研究中， 经常要对语料进行分词和词性标注， 分词 间的 个编辑框中会呈现 “上一句”、 “ 当前句” 和 “ 下一 3 和词性标注是进行句法分析、 句义分析的基础。 但是在人工分 句” 3 句话， 其中 “上一句” 和 “下一句” 编辑框中的句子 词或词性标注时， 经常会出现多加了分隔符 （一般是空格） 或 是只读、 无法改写的， 供标注者在标注时联系上下文作参考 是少加了分隔符等问题， 有时当词性标记很多时， 标注者在记 用的， 只有 “ 当前句” 编辑框中呈现的文本可以改写。 点击 忆这些词性标记时会有很大困难。 设计人工分词及词性标注辅 右边的 “上句” 按钮可以翻看上一句， 点击 “ 下一句” 按钮 助程序能够根据预定的规则对标注后的语料进行检验， 发现违 可以翻看下一句。 反规则的情况就会给予提示， 并且还设计了一个小键盘， 减轻 在这 个编辑框的下面有一个小键盘， 这个小键盘中的每 3 了标注者记忆词性标记的负担。 通过实验表明， 使用这个辅助 个键其实都是一个命令按纽， 有些键上放的是词性标记， 它的 程序能够有效提高人工分词及词性标注的速度和正确率。 功能是如果 “当前句” 编辑框的句子已经被分词 （即句子中的 各个词之间已经用一个空格隔开）， 通过点击小键盘中这些带 2 功能及特点 有词性标记的命令按纽， 程序就会自动地按照从前往后的顺序 人工分词及词性标注辅助程序的主界面如图 所示。 1 在每个词语后面添加命令按纽上的词性标记。 还有几个键是用 来实现一些特殊功能的， 比如 “删除” 键的功能是按照从后往 前的顺序删除 “当前句” 编辑框中词语的词性标记的， 但它只 是删除词性标记， 并不会删除词与词之间的空隔。 如果一句话 中的每个词语都已做了词性标注， 第一次点 “删除” 键， 它会 删除最后一个词语的词性标记， 第二次点 “删除