毕业设计中期答PPT.pptVIP

毕业论文中期工作汇报 刘迪源 2012.4.22 混淆网络在语音检索中的应用 完成主要工作： 1.语音信号处理知识学习 《语音信号处理》 《Spoken Language Processing》 2.熟悉语音识别基本流程 《perl语言入门》 结合HTK工具，完成WSJ0_baseline中语音 识别各项操作 3.分析语音识别输出结果文件——lattice和混淆 网络（CN） 4.结合SRILM工程，完成混淆网络生成程序 1.语音信号处理知识学习 预处理 特征提取 模式匹配 参考模板 判决 语音输入 识别 训练 识别结果 图10-1 语音识别系统框图 语言模型学习 语言模型 基于规则LM 基于统计LM 短语结构文法 上下文相关文法 上下文无关文法（CFG） 正则文法 PCFG n-gram KATZ SMOOTHING KNESER-NEY SMOOTHING Class n-grams 2.熟悉语音识别基本流程 按照科大讯飞提供的语音识别Easytraining步骤，在WSJ_baseline上跑通整个语音识别的流程 语音识别具体步骤： 模型训练： 1 用CompV 估计全局方差 2 用ModelGen 克隆monophone 3 HERest 训练monophone 模型 4 校正训练数据 5 用校正后的数据训练模型 识别与测试： 1 HParse 生成语法网络 2 HVite 识别 3 HResults 计算识别率 程序：EasyTrainingDTM.pl run_test.pl 3.分析语音识别输出结果文件——lattice和混淆网络（CN） I Iike It’s is Iittle Iate It is yellow color It’s car 0.5 0.05 0.2 0.3 0.5 0.5 0.8 0.05 0.2 0.05 0.2 0.6 /s s Iittle Iike yellow 识别句子：I like it’s color lattice结构： is car I late It’s color s /s It 混淆网络结构： 《语音关键词识别技术的研究》 《语音关键词识别技术的研究及应用》 《语音识别中的后处理技术研究》 《汉语大词汇量连续语音识别中混淆网络算法的研究》 《基于Lattice分段的高质量混淆网络快速生成方法》 《基于KL散度的最大后验弧主导的混淆网络生成算法》 《Finding consensus in speech recognition》Mangu 2000 《 Indexing Confusion Networks for Morph-based Spoken Document Retrieval 》 Turunen 2007 目前国内外有关混淆网络技术的研究： 4.混淆网络生成程序 1)在lattice上利用前向，后向算法计算节点的后验概率。 每个节点后验概率=前向概率×后向概率； 2)概率剪枝。剪枝后再重新计算每个节点的后验概率。 3)在lattice上寻找一个概率最大的节点，利用维特比算法生成一条包含起始和结束节点的one-best路径，作为构建混淆网络的参照路径。 4)在剩余弧中寻找一个概率最大的节点，利用维特比算法生成一条最佳路径。 5)对于最佳路径中的所有弧节点，与混淆网络中的每个集合进行比较，计算删除、插入、替代三种代价。取代价最小的一种方式将弧引入参照路径中。 6)迭代执行4和5，直至所有弧都加入到混淆网络中。 I Iike It’s is Iittle Iate It is yellow color It’s car 0.5 0.05 0.2 0.3 0.5 0.5 0.8 0.05 0.2 0.05 0.2 0.6 /s s is car I like It’s color One-best CN lattice-tool工具 生成混淆网络 SRILM工程中提取混淆网络c++程序 主函数： lattice-tool.cc HTK格式的lattice文件读取和存储： HTKLattice.cc 计算词后验概率： LatticeAlign.cc 混淆网络生成：Wordmesh.cc 完成代码中应用到的前后向算法，维特比算法，动态规划算法，MED分配混淆网络等数学证明 index.cc建立关键词的倒排索引，提高检索速度 应用混淆网络进行关键词检索的实验结果： 采用2006年NIST组织的STD评测系统， 共284个测试词，74个测试短语 测试集上以0.9进行概率剪枝获得最高ATWV ： 0.6 词的识别正确率：73.5% 剩余工作安排： 1.改进混淆网