李奕澎-NVidia-使用NeMo快速完成自动语音识别应用.pptxVIP

NVIDIA企业级开发者社区经理 李奕澎 使用NeMo快速完成自动语音识别应用 课程目录 对话式AI及子任务自动语音识别简介自动语音识别理论自动语音识别工作流程NeMo自动语音识别工具包简介NeMo自动语音识别工具包的安装及使用代码示例：使用NeMo快速完成自动语音识别应用 语音语义人机交互对话式AI 对话式AI子任务语音到文字（ASR）文本到语音TTS（Text To Speech） 语音转换 语音分类 NLP(Nature Language Processing) 信息抽取 NLP文本分类语音语义人机交互 自动语音识别简史 自动语音识别应用场景 定义:自动语音识别定义ASR（Automatic Speech Recognition）自动语音识别是计算机科学和计算语言学的一个跨学科子领域，其开发的方法和技术使计算机可以将口语识别和翻译成文本。它也被称为算机语音识别或语音转文本（STT）。它整合了计算机科学，语言学和计算机工程领域的知识和研究。 自动语音识别理论音频信号参数：振幅：振幅是指空气分子从静止位置的最大位移。波峰和波谷：波峰是波浪中的最高点，波谷是最低点。波长：2个连续波峰或波谷之间的距离称为波长。周期：每个音频信号都以周期的形式遍历。信号的完整向上移动和向下移动形成一个循环。频率：频率是指信号在一段时间内变化的速度。 把声音转化成计算机可以识别的数据： 声波的数字化声波的数字化表达傅里叶变换为频谱自动语音识别理论 我们将每20毫秒的音频块输入到神经网络中，对于每个小音频片段，它将找出与当前正在说出的声音相对应的字母。。自动语音识别理论 当通过神经网络跑完我们的整个音频剪辑（一次一块）之后，我们将最终得到一份映射（mapping），其中标明了每个音频块和其最有可能对应的字母。这是我说那句「Hello」所对应的映射的大致图案：自动语音识别理论 我们将重复字符折叠: HHHEE_LL_LLLOOO = HE_L_LO然后我们删除空格符: HE_L_LO becomes = HELLO自动语音识别理论 自动语音识别工作流程 NeMo的优势 ：完整的对话式AI工具包，开箱即用应用于搭建智能语音助手，聊天机器人，智能语音翻译 ，声控智能家居及自动驾驶汽车语音指令交互等应用场景NVIDIA NGC预训练模型仓库调用最先进的模型 。集成NLP自然语言处理 ASR自动语音识别 TTS语音合成等技术应用中的工具库。基于优秀的深度学习框架为后端进行开发，可以实现模型加速训练，便于模型微调。可以实现多核GPU并行加速计算NeMo自动语音识别工具包简介 NeMo自动语音识别工具包安装 Thank youAI听写专家 — 我用Nemo