【百度刘洋】智能语音：从 DNN 到 LSTM.pdf

智能语⾳技术 刘洋 百度语⾳技术部 CONTENTS · 语⾳技术 1/ 语⾳识别 2/ 语⾳交互 3/ 语⾳合成 4/ 声纹验证 5/ ⾳频内容检索 · 语⾳开放 1/ 开放能⼒ 2/ ⾏业解决⽅案 3/ 开放未来 语⾳识别 - 语⾳识别精度不断提升 100% v 95% v LSTM 模型 90% 区分度模型 基于mel-bank的 85% ⼦带 CNN 模型 v DNN模型 80% 2012年1⽉ 2013年1⽉ 2014年1⽉ 2015年1⽉ 语⾳识别 - LSTM声学模型 ⽹络输出 ⽹络输出 输出门 长短时记忆⽹络模型 LSTM ，long-ho em memoy ·算法优势 遗忘门 记忆单元 1.长时间的轨迹记忆和瞬态记忆的统⼀ 2. 模拟⼈脑选择性遗忘 3. 更精准的轨迹建模 输⼊门 ⽹络输⼊ ·技术创新 ⽹络输⼊ 1.混合多层结构 2.解决海量数据训练的效率和稳定性问题 传统模型单元 长短时记忆单元 语⾳识别 - 语⾳识别精度不断提升 卷积层 ⼗层全连接层 LSTM层 描述说话⼈频谱偏移带来的变化 提取抽象⾼层信息 描述时间序列变化信息 错误率降低10% 语⾳识别 - 声学并⾏训练平台 近百台GPU机器 ，每台4块GPU K40卡 ，加速10倍 ，模型取平均与异步SGD结合 ，双层异步SGD 。 by ai eeIdLi by CheckIfGPUSIWai by 树形拓扑结构取平均 星型拓扑结构异步 SGD 语⾳识别 - 声学模型⾃适应 个体声⾳积 累若⼲句话