以NIST评估的结果的说明 LID技术的发展.doc

以NIST的评估结果说明LID技术的发展 93年、94年和95年 NIST评估结果[1] 这3年NIST（the National Institute of Standards and Technology）评估采用的数据库是OGI-TS数据库，测试方案为闭集测试。其中93年测试10种语种，94年测试11种语种，95年测试9种语种。测试语音时长分为45秒和10秒。测试有两种方案：一种是两种语种测试（Language Paris with English），也就只测英语和其他语种中的一种，取平均错误率；另一种是多个语种测试（N-WAY Classification），取平均错误率。每年的最好的性能（错误率）分别见下表： 表1 NIST 93年LID的评估结果 方案/时长 技术方法 Language Paris with English N-WAY Classification 45s 10s 45s 10s SF 7% 13% 22% 41% 表2 NIST 94年LID的评估结果 方案/时长 技术方法 Language Paris with English N-WAY Classification 45s 10s 45s 10s PR 4% 10% 21% 30% 表3 NIST 95年LID的评估结果 方案/时长 技术方法 Language Paris with English N-WAY Classification 45s 10s 45s 10s SF/PR 2%( SF/PR) 4%(PR) 12%( SF/PR) 23%(SF) 这里所采用的LID技术方法中，SF指的是syllabic feature system，PR指的是phone recognition followed by language modeling system。需要说明的是：在NIST 95年评测中，SF/PR指的是上述两种方法的融合方法。 2、所采用的LID技术方法介绍 在SF系统中，当时比较有代表性的是基于倒谱特征建模的方法和基于韵律特征建模的方法。 基于倒谱特征建模的方法[2, 3] 对语音提取LPCC、MFCC等倒谱特征，训练时采用VQ、GMM和HMM等方法对每个语种建立相应的模型，识别时对测试语音提取倒谱特征向量，得到每个语种的模型概率得分，取得分最大的模型所对应的语种为识别的语种。 这种方法实现比较简单，实时处理速度也很快，但是识别准确率不是很高。 2）基于韵律特征建模的方法[4, 5] 对语音的每个syllable提取基音和幅度包络、时长特性和重音模式等韵律特征，训练建立每个语种的相应模型，识别时取得分最大的模型所对应的语种为识别的语种。 这种方法同样实时处理速度较快，但是准确率受不同语种测试组合的影响比较大。 在PR系统中，当时比较有代表性的是基于phone识别器的方法，即PPRLM方法[6]，这种方法的结构框图如图1所示： 该方法前端是平行的多个phone识别器，分别生成每个语种的phone串，由phone串训练相应的N-gram Language Model，测试句子的phone串在这些Language Model的得分相加，取得分最大的模型对应的语种即为所识别语种。 图1 PPRLM系统框图 PPRLM系统前端可以是任意语种的phone识别器，并且数目可以任意扩展，但是需要每个语种带标注的语料训练相应的phone识别器，而且数目越多，处理速度也越慢。 1996年和2003年 1、NIST评估结果[7,8] 这两年NIST均采用CallFriend数据库作为评测数据库，测试方案为开集测试，目标语种均为12种，外加其他非目标语种或者其他集上的目标语种。测试语音时长分为30秒、10秒和3秒，最终以EER作为评测性能的比较。这两年最好的系统性能分别如下表所示。 表4 NIST 96年LID的评估结果1（EER） 语音时长 技术方法 30s 10s 3s PPRLM 9.6% 17.8% 26.4% 而在参考文献[1]中提到，如果采用95年的测试方案对96年的评估数据进行闭集测试，评估结果则如下表所示。 表5 NIST 96年LID的评估结果2（ER） 方案/时长 技术方法 Language Paris with English N-WAY Classification 30s 10s 30s 10s PPRLM 5% 13% 23% 46% 在96年之后的长达6年里，NIST没有对LID进行评估，直到2003年，NIST提出和96年一样的评估方案。共有6家单位参与了评估，最后以MIT Lincoln Laboratory