规则和统计相结合的汉语词类标注方法中文信息学报中国中文信息.PDFVIP

中 文 信 息 学 报 第 卷 第 期 规则和统计相结合 的汉语词类标注方法② 周 强 日匕 大学 京 计算语言学研究所 【 】 文分 了汉 的 类词 与汉 词 类标 注 的 困 , 绍 了汉 词 类 注 摘 要 本 析 语 多 现 象 语 难 介 语 标 中的规则排攻和 统计排歧的处理 策略以及规则和统计相 结合的处理 思路 按此思路设计 的 。 软件 系统 , 对封 闭语料和开放语料 的标 注正确 率分别达到 了 好 沥 和 夕 一 、 胃 。 在对语料库信息的加工处理过程 中, 词类标注是一项很重要 的工作 它 的任务就是给 的 词 一 适 的词 由于 、 然 语料库 中 每个 赋 个合 类标记 英语 汉语等许多 自 语 言 中 存在着大 都 量 的词 的兼类 现 象 , 因 此 给 语 料 库 的 自动 词 类 标 注 带来 了很 大 困难 词 类 歧义 消解 已成为 自动词类标注研究 的主要课题。 国外对英语语料库 的 自动词类标注研究可 以分为 以下几个 阶段 七 十年代初 , 主要采 用 了基于 规则 的处理方法 其代表是 系 统 它主要利用 了 条上 下文框架 , 规 对 一 万词 次 的 』行 了 词 标注 则 语料库 进 自动 类 处理 正确率达到 了 ” 七 十年代末到八十年代初 , 随着经验 主义方法在计算语 言学研究 中 的不 断 流 行 , 基 于 统 计 的词 类 排 歧 方 法 开 始 得 到 应 用 年 的语 料 库标 注 系 统 最 先采 用 了 的噪声信道模 型 思 想 进 行 词 类 自动标注 通 过利用 语料库 的正确标 注语料 训 练参数 , 达到 了 的正确率 从此 以后 , 随着正确标 注语料数量 的不断增长和统计处理技术 的不断完善 ,