基础思想.PDFVIP

基础思想 参考 adaboost 的思想，学习多个基分类器，最后集成一个大网络 实验意义 1. 提高 LVCSR 任务的识别准确率 2. 提高解码速度 理论基础 1. Variance bias 2. Adaboost 方法的泛化特性（不仅能在训练集上表现得好，测试集上也能有很好的表现效 果） 3. Classification margin 4. 弱可学习=强可学习 5. Adaboost can do as well on NN as on decision tree. 思维导图 Sentence-level Pay more attention on 如何训练不同的 wrong classified data Frame-level base classification Others? The better the classification does, the higher the proportion. 如何将他们结合 Then add the posteriors linearly 实验 实验1 Experiment details ➢ Train data: WSJ / train_si284_sp_hires(+1 noise on all utterance) 111954 utterance, about 240h ➢ Test data: WSJ / test_eval92 dev93_sp_hires(+1 noise) ➢ NN_1(1280*6) NN_2/3/4(256*6) 256*6 1280*6 2048*6 Experiment procedure 对于第 n 个 NN 1. 对训练集的每个 utterance 解码，得到每个句子的 WER () 2. 对每个句子的 WER 做归一化 ()/ ∑ () ，得到每个句子的概率 () 3. 用这个概率对原数据集进行 resample，保证数据集句子个数不变，得到新的训练数据集， 用已有的 GMM-HMM 模型做 alignment，训练 NN。 训练好 n 个 NN 后，取测试集 WER 的倒数做归一化得到每个 NN 的比例，将 posterior 以此 比例相加得到最终的 posterior 进行解码 results 2048*6 Ensemble 1280*6(1) 256*6 256*6 256* （1280+256*3） 1+2+3+4 (2) (3) 6(4) bd_tgpr_dev 9.85 10.53 10.37 17.21 18.80 20.68 93 bd_tgpr_dev 8.95 9.34 9.21 15.55 16.88 18.36 93_fg bd_tgpr_eval