hadoop下声学模型训练工具.ppt

HADOOP 下声学模型训练工具原理和使用简介 研究院-数据中心 MLE训练工具完整移植了dtm下的EasyTraning流程 可以进行解lattice，解mfcc特征，解tandem特征等任务 可进行MPE训练 形成了简易的开发框架，可供后续方便地进行开发 HADOOP下声学模型训练工具现状 Hadoop与DTM训练对比 Hadoop与DTM训练对比 Hadoop与DTM训练对比 数据： DTM使用列表管理和使用数据，hadoop将所需要的数据打包在一起供程序流式读取使用，所以在解lattice等操作时，hadoop会额外地将输出的lattice和特征一起输出到打包文件中供之后的程序使用 任务：DTM和HADOOP类似，都采取了分布式的任务管理模式 Hadoop对比DTM的优势 结构化的顺序文件 VS 松散的小文件 数据一站式管理 VS 繁杂的数据分发 Hadoop集群的监控，运行任务的监控 9/ganglia 集群的运行状态监控 00:50030 hadoop集群的任务运行情况 00:50070 hadoop集群的文件系统监控 Hadoop下声学训练工具使用方法 1.所需要的打包程序在\\91\spyu\bin中，由于程序仍需要维护的关系，请直接使用其中的程序而不要拷贝出来。 2.运行打包脚本，使用dtm训练相同格式