副词都用法自动识别研究.ppt

副词“都”用法自动识别研究 张静杰 昝红英 郑州大学自然语言处理实验室 目录 引言 副词“都”的用法描述 副词“都”的用法自动识别研究 基于规则的副词“都”用法自动识别 基于统计的副词“都”用法自动识别 规则与统计相结合的副词“都”用法自动识别 结语 引言 在现代汉语中，副词的句法功能相对比较简单，然而，一些常用副词不仅使用频率很高，而且用法丰富多样 对于副词研究，尤其是一些义项纷繁、用法灵活的常用副词，需要针对个例，作仔细的考察和对比 引言 “都”主要有三个义项: 范围的总括 无论工作大小，我们都要把它做好。 表达语气 真抱歉，我都忘了你的名字了。 表时间 饭都凉了，快吃吧！ 1 副词“都”的用法描述 根据俞士汶等提出的“三位一体”构建现代汉语广义虚词知识库的思路，昝红英等初步构建了虚词用法词典、用法规则库以及用法标注语料库“三位一体”的现代汉语虚词知识库 副词“都”共有3个义项11个用法 表1副词“都”的用法描述 1 副词“都”的用法描述 与表1相对应的副词“都”的用法规则描述： $都 @d_dou1_1→N ^N→v|a @d_dou1_1a→M ^M→谁|哪里|什么|怎么|哪儿|哪|ry|ryw @d_dou1_1b→M ^M→(不论|不管|无论|虽然|尽管|凡是|只要)*{，} @d_dou1_1c→NE ^N→谁|哪里|什么|怎么|哪儿|哪|ry|ryw ^E→？ @d_dou1_1d→FR ^F→~ ^R→是 @d_dou1_2→N ^N→v @d_dou1_2a→M ^M→连|甚至 @d_dou1_2b→A~A(不|没|没有|未|df) ^A→v @d_dou1_2b→A~(不|没|没有|未|df)*A ^A→v @d_dou1_2c→MN ^M→一q ^N→不|没|没有|未|df @d_dou1_2d→N ^N→[，]*(不|没|df) @d_dou1_3→E ^E→了， 2.1 基于规则的副词“都”用法自动识别 因为规则用法自动识别过程中，系统按照给出的规则逐条进行匹配，所以需对规则的顺序进行调整 语料来源：2000年4~6月的《人民日报》语料 –北京大学 表2 副词“都”的用法分布 表3基于规则的副词“都”的用法自动识别 2.2 基于统计的副词“都”用法自动识别 统计模型：条件随机场（CRF） 窗口：[7,3] 特征模版： 上下文窗口的词语信息+词性信息+词语和词性的复合信息 表4 基于统计的副词“都”的用法自动识别 2.3 规则与统计相结合的副词“都”用法自动识别 思想：对包含副词“都”的句子分别进行基于规则和基于统计的方法自动识别，结果分以下三种情况： 两者都没有识别结果，识别失败 两者只识别出一个结果，即两者之一没有识别结果或者两者识别结果相同，则标注该用法 两者识别结果不同，对比两者各自在原模型中识别准确率的大小，标注准确率较高的用法 表5 规则与统计相结合的副词“都”用法自动识别 3 结语 对“都”的用法分别进行了基于规则、基于统计以及规则和统计相结合的自动识别研究 考虑提出其他的规则和统计相结合方法进一步提高用法的自动识别的准确率 考虑在用法自动识别的前提下，将用法识别应用到句法分析等其他自然语言处理领域 谢谢！ 郑州大学自然语言处理实验室 句末常用“了”。 b 已经。b d_dou_3 用于表示让步的小句，引出表示主要意思的小句。b 甚至。“都”轻读。b d_dou_2d 一+量词+...~+动词（否定式）。b 甚至。“都”轻读。b d_dou_2c “都”前后用同一个动词（前肯定，后否定）。bA~(不|没|没有|未|df)A 或 A~A(不|没|没有|未|df)。z 甚至。“都”轻读。b d_dou_2b 与“连”字同用。b 甚至。“都”轻读。与“连”字同用，有强调语气的作用。b d_dou_2a 修饰动词或动词短语。z 甚至。“都”轻读。b d_dou_2 与“是”搭配。b 表示总括全部。与“是”搭配。说明原因，有责备的意思。b d_dou_1d 问话时总括的对象（疑问代词）放在“都”后。b 表示总括全部。b d_dou_1c 所总括的对象前可以用连词“不论、不管、无论、凡是、只要”。 bz 表示总括全部。b d_dou_1b 所总括的对象可以用表示任指的疑问指代词。b 表示总括全部。b d_dou_1a 除问话以外，所总括的对象必须放在“都”前。也可以说“全都”，总括的意思更明显。b 表示总括全部。b d_dou_1 用法 释义 ID 6791 100.00 合计 51 0.75 d_dou1_3 12 0.18 d_dou1_2d 14 0.21 d_dou1_2c 4 0.06 d_dou1_2b 160 2.40 d_dou1_2a 4