文本科大讯飞股份有限公司深度学习平台-张致江-epccsjtu.pdfVIP

文本 加速深度学习模型训练方案 科大讯飞股份有限公司 深度学习平台-张致江-2015.5.20-上海 汇报提纲 深度学习应用及组成要素 全部应用-语音-深度学习 深度学习组成部分 重点特点：为什么要用大数据，高性能计算 构建深度学习算法训练的平台 其他公司探索 处理大数据（其他） 高性能计算（其他） 我们具体实战 优化深度学习训练 并行理论和方法 加速处理器 Demo （加速：CUDA Core、并行结构） 背景概述 深度学习的行业应用 图像分析 语音分析 语言处理（翻译） 行为分析（搜索推荐） 股票分析 …… 人工智能（……） 以语音分析中的语音识别为例，讲解训练效率优化！ 传统程序 Vs 深度学习程序 数据 机器 结果 程序 写程序 数据 机器 程序 结果 训参数 业内共识：深度学习成功三个要素 优秀的人才：天才的研究员、NB的工程师 高质量的数据：讯飞有专门部门进行优质数据采集 强大的技术平台：BigData、HPC （GPGPU Cluster） From NG 加速深度学习模型训练途径 简单的算法 高性能计算平台 以CPU为主处理平台、以GPU为主的处理平台 高效的程序 NB程序员进行特定平台的效率优化 深度学习在语音识别应用 DNN-HMM RNN 声 语 声 特 学 言 文 音 征 模 模 本 x f 型 型 y g t GMM-HMM 声学模型训练大致步骤 声音 特征 GMM 切分 DBN 切分 以CPU计算为主 DNN 以GPGPU计算为主 模型 综上：建立平台、优化程序 建设深度学习平台 深度学习需要什么样的平台 高性能 大量的CPU核心、GPU核心 高速的交互网络、在GPU上需要FDR 大规模的存储、在GPU上需要高性并行文件系统 高效率 公平、可灵活配置的CPU、GPU资源调度平台 易使用 简易集群程序开发、调试接口 BigData处理平台 组成部分 声学 语言 合成