基于条件随机场的词级别置信度的研究.pdfVIP

基于条件随机场的词级别置信度研究 高兴龙 张鹏远 张震 潘接林 颜永红 语言声学与内容理解重点实验室 摘要：在各种语音识别应用中，置信度的可靠性对语音识别正确率都起着关键的作用。本文对 基于声学层特征和语言层特征的后验概率置信度和基于上下文混合特征的条件随机场 (ConditionalRandomFields，CRF)置信度进行了详细的研究。基于条件随机场的置信度特征广 泛地融合了声学层，语言层，语义层等知识源。实验结果显示，通过选择不同的上下文特征模 式，在电话交谈语音(ConventionalTelephoneSpeech，CTS)环境下，基于CRF的置信度具有 比基于后验概率置信度具有更好的区分性。同时，使用基于CRF的置信度的识别后处理可以 有效提高系统的识别率。 关键词：置信度；特征融合；置信度评价；识别率 音频声学 州町，tl ∽ vwjl pLxl， xT】卜v聂Eg些≮笋堂 其中，x为语音观测序列，下和t分别为词w的开始时间和结束时间，而g为所有识别 词集。可以采用all—phone‘11的方法对词表中所有模型累计计算p(x≥)，即： l (2) p(x●)=∑p(w)p(xT Vwy∈g 但是这种方法计算量很大。在大词表连续语言识别中，需要计算每个词模型 对应的概率值，并且无法进行有效的剪枝而加快搜索。一般使用一遍识别后的词 图来近似整个搜索空间计算p(xj。) I o 2．2：CRF置信度计算公式 CRF是一种与无向图模型相联系的鉴别性模型【2J。一般以线性链的结构出现， 并且广泛用于序列数据的切分和分类问题。一个条件概率利用条件独立性原理进 行分解可以与一个无向图联系起来，即构成了条件随机场的图模型结构。如下所 示： pY (3) l ex“∑：。入kFk(Yt-1，YtXt)) x)=孬1 其中： (4) exp(∑：。入kFk(Yt-lYtXt)) z(x)=∑Y 在式(3)中，x表示观测向量，Y表示要被预测的值。入k是每个特征函数 Fk(Y。一l，Y。，x。)的权重，由训练数据确定，z(x)是归一化因子，K表示所有特征的 数目。CRF具有良好的鉴别性，在文本分类任务中表现良好。并且，CRF在选择 特征方面，具有很大的灵活性，可以任意选取相关性很大的特征，也可以随时去 掉某些无用特征。本文中使用如下特征对大词表连续语音识别结果进行重估。 表1．特征种类及其类别 Feature Syllable duration posterior #classes 400 10 10 后验概率(posterior)：后验概率作为最直接的度量识别词可靠性的指标，可以 用作CRF判别的特征【3li41。 中文无调音节(syllable)：本文对识别词的评估基于中文无调音节。识别音节本 身也可以作为特征，通过融合上下文音节，可以获得比n-gram语言模型更好的上