人工智能之表示学习市场前景及投资研究报告2020年第7期.pdf

人工智能之知识表示学习 报告顾问：刘知远 清华大学人工智能研究院 北京智源人工智能研究院 清华-中国工程院知识智能联合研究中心 2020 年7 月 目录 报告说明 1 1. 研究范围 1 2. 研究方法2 1. 概述篇4 1.1 表示学习的概念4 1.2 表示学习的特点和形式5 1.3 技术发展历程6 1.4 表示学习的典型应用 10 1.4.1 语音识别和信号处理 10 1.4.2 自然语言处理 11 1.4.3 内容推荐 12 2. 技术篇 14 2.1 表示学习的理论基础 14 2.1.1 向量空间模型 14 2.1.2 词袋模型 16 2.1.3 主题模型 18 2.1.4 独热表示与分布式表示 19 2.2 网络表示学习的主要算法20 2.2.1 基于网络结构的网络表示学习20 2.2.2 结合外部信息的网络表示学习23 2.3 知识表示学习的主要方法模型25 2.3.1 距离模型/结构表示25 2.3.2 单层神经网络模型25 2.3.3 能量模型26 2.3.4 双线性模型26 2.3.5 张量神经网络模型27 2.3.6 矩阵分解模型27 I oPqO3X7Z1X2X8OcM9PtRoOnPpPlOnMqQkPtRqMbRtRtQMYnPnRwMoPoQ 2.3.7 平移模型27 2.4 表示学习领域必读论文解读28 2.5 表示学习话题模型35 2.6 领域专利申请情况37 2.7 领域相关的国家自然科学基金NSFC 项目39 2.8 表示学习领域研究前沿动态40 3. 人才篇57 3.1 表示学习领域学者情况概览57 3.2 代表性学者简介61 3.2.1 国外代表性学者61 3.2.2 国内代表性学者73 4. 趋势篇90 4. 1 技术研究发展趋势90 4.2 国家研究发展趋势91 4.3 技术发展面临的挑战91 参考文献93 II 图目录 图1 数据表示学习和神经网络的发展历程8 图2 Transformer 模型架构图34 图3 BERT 的整体预培训和微调程序35 图4 LDA 结构图36 图5 2010 至2019 年期间表示学习相关专利申请量38 图6 2010 至2019 年期间表示学习专利受理局