基于贝叶斯分类器的HNC概念基元标注的探究.pdfVIP

基于贝叶斯分类器的HNC概念基元标注研究 池哲洁 张全 语言声学与内容理解实验室 摘要：概念基元信息的获取是建立在标注完全的语料的基础上，而自动标注工作主要面临 歧义消解的问题。本文引入贝叶斯分类器来完成概念基元自动标注的工作，小规模实验表 明，相比于随机标注，本文的方法具有较高的标注准确率。 关键词：HNC概念基元；贝叶斯分类器；自动标注 中国科学院声学研究所第四届青年学术会议论文集 假设数据集有n个特征A，，A2…一以(或者说数据集由彳，、彳2…一么刀这n个 特征表示)，其中共分为m个类C={o，Cz……C卅)。给定一个具体的实例Z用特 征表示为胙{x，，x2……翰)，此时对类别判断做的最佳假设为： c(∞=argmax以GlAt) G)／尸(∞，其中，尸∞对 对(1)式，利用条件概率公式尸(Gl∞=以G)·尸(xI 所有类均为常数，不予考虑，则可将贝叶斯分类器表示如下： c(柳=argnlaxP(G)·尸(xIG) (2) 即预测实例x属于在特征给定条件下后验概率最大的类别时，预测的准确性最高。 一般情况下，(2)式中的后验概率难于计算，引入特征独立性假设：给定类别 朴素贝叶斯分类器，表示为： ^ c(X)=argmax尸(ci)·nP(五IG) (3) k=l 利用贝叶斯分类器进行歧义消解时，可采用如下做法：将歧义词所处的上下 文语境订作为特征，该词含有的多个概念义项作为类别，并引入位置独立性假设， 则实际概念基元义项的计算公式为： (4) 易=argmaxP(cp，)．H尸(％Icpi) wkEcl 其中，印f为特定概念基元项，Wk为上下文语境ct中的词语。 在实际文本中，位置独立性假设一般不成立，上下文之间的词语总是存在关 联，尽管如此，在很多情况下这种假设作为一种简化的方法却很有效，这也使得 贝叶斯分类器在歧义消解的应用中得到推广。 3算法描述与实现 本文对概念基元的标注是基于切分完全的语料以及给定的词语一概念基元映 射表(以下简称映射表)，在标注前，需要先完成贝叶斯分类器的模型训练。标注 时，按顺序逐一进行，对于映射表中出现且只有单一概念基元项的词语可直接标 注；若是在映射表中出现且有多概念项对应的词语，则需应用训练好的贝叶斯分 类器模型对概念摹元结果做出判断；对于不出现在映射表中的词语，也需分类别 单独处理。整个标注算法描述为： (1)获取训练语料，对贝叶斯分类器进行模型训练。完成模型训练后，获取待 标注文本，转(2)。 (2)判断全文标注是否完成，若是，完成处理，输出标注结果：否则，读取下 一词语，转(3)。 (3)判断该词是否是映射表中的词语，若是，转(4)；否则，转(6)。 (4)查找映射表中该词对应的概念基元数，若为单一概念项，则直接进行标注， ——266—— 音频声学 转(2)；否则，转(5)。 (5)该词与多概念项对应，应用训练好的贝叶斯分类器确定词语对应的概念基 元，转(2)。 (6)该词语不在给定映射表中(可能是标点符号、各种数字或字母的组合等)， 按所属类别进行统一标注，转(2)。 3．1贝叶斯分类器模型训练 对分类器模型的训练主要是基于标注语料对公式(4)中各项参数进行估计。 上下文语境作为分类特征，在进行参数估计之前，需先确定特征的范围，即 上下文语境的边界。本文作为一个尝试，为简化处理，统一将边界定为【．2，+2】，即 取特定词语左右各两个词作为该词的上下文。 对参数的估计，采用极大似然估计，从训练语料中计算出相对频率值作为模 型的参数值。概念基元先验概率的估计为：