深度学习研究综述-arXiv.pdf

信息与控制　　２０１８年　第４７卷　第４期：３８５～３９７ ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．２０１８．８０９１ 文章编号：１００２－０４１１（２０１８）－０４－０３８５－１３ 深度学习研究综述 张　荣，李伟平，莫　同 北京大学软件与微电子学院，北京　１００８７１ 基金项目：国家重点研发计划项目（２０１７ＹＦＣ０８０３６０９，２０１７ＹＦＢ１４００４００）；河南省交通运输厅科技项目（２０１６Ｇ５） 通信作者：李伟平，ｗｐｌｉ＠ｓｓ．ｐｋｕ．ｅｄｕ．ｃｎ　　收稿／录用／修回：２０１８－０３－０１／２０１８－０５－０２／２０１８－０５－１４ 摘要 关键词 近年来，中美等国家、谷歌等高科技公司纷纷加大对人工智能的投入，深度 深度学习 学习是目前人工智能的重点研究领域之一，本文对深度学习最新进展及未来研究 神经网络 方向进行了分析和总结．首先概述了三类深度学习基本模型，包括多层感知器、 机器学习 卷积神经网络和循环神经网络．在此基础上，进一步分析了不断涌现出来的新型 人工智能 卷积神经网络和循环神经网络．然后本文总结了深度学习在人工智能众多领域中 卷积神经网络 的应用，包括语音处理、计算机视觉和自然语言处理等．最后探讨了深度学习目 循环神经网络 前存在的问题并给出了相应的可能解决方法． 中图法分类号：ＴＰ３０１．６ 文献标识码：Ａ ＲｅｖｉｅｗｏｆＤｅｅｐＬｅａｒｎｉｎｇ ＺＨＡＮＧＲｏｎｇ，ＬＩＷｅｉｐｉｎｇ，ＭＯＴｏｎｇ ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅａｎｄＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ，ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００８７１，Ｃｈｉｎａ Ａｂｓｔｒａｃｔ Ｋｅｙｗｏｒｄｓ Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｓｅｖｅｒａｌｃｏｕｎｔｒｉｅｓ，ｓｕｃｈａｓＣｈｉｎａａｎｄｔｈｅＵｎｉｔｅｄＳｔａｔｅｓ，ａｎｄｈｉｇｈｔｅｃｈｃｏｍｐａｎｉｅｓ，ｓｕｃｈ ｄｅｅｐｌｅａｒｎｉｎｇ； ａｓＧｏｏｇｌｅ，ｈａｖｅｉｎｃｒｅａｓｅｄｉｎｖｅｓｔｍｅｎｔｉｎａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ．Ｄｅｅｐｌｅａｒｎｉｎｇｉｓｏｎｅｏｆｔｈｅｃｕｒｒｅｎｔａｒｔｉｆｉｃｉａｌｉｎ ｎｅｕｒａｌｎｅｔｗｏｒｋ； ｔｅｌｌｉｇｅｎｃｅｒｅｓｅａｒｃｈｋｅｙａｒｅａｓ．Ｗｅａｎａｌｙｚｅａｎｄｓｕｍｍａｒｉｚｅｔｈｅｌａｔｅｓｔｐｒｏｇｒｅｓｓａｎｄｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｆ ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ； ｄｅｅｐｌｅａｒｎｉｎｇ．Ｆｉｒｓｔ，ｗｅｏｕｔｌｉｎｅｔｈｒｅｅｂａｓｉｃｍｏｄｅｌｓｏｆｄｅｅｐｌｅａｒｎｉｎｇ，ｗｈｉｃｈａｒｅｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎｓ，ｃｏｎｖ ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ； ｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ａｎｄｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ｏｎｔｈｉｓｂａｓｉｓ，ｗｅｆｕｒｔｈｅｒａｎａｌｙｚｅｔｈｅｅｍｅｒｇｉｎｇｎｅｗ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ； ｍｏｄｅｌｓｏｆｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｗｅｓｕｍｍａｒｉｚｅｔｈｅａｐｐｌｉ ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ ｃａｔｉｏｎｓｏｆｄｅｅｐｌｅａｒｎｉｎｇｉｎｍａｎｙａｒｅａｓｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ，ｉｎｃｌｕｄｉｎｇｓｐｅｅｃｈｐｒｏｃｅｓｓｉｎｇ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ， ａｎｄｎａｔｕ