深度学习基本知识点整理.docxVIP

深度学习基础知识整理 Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa） 第一课：数学分析与概率论 Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布 第二课：数理统计与参数估计 Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计 第三课:矩阵和线性代数 从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程 第四课:凸优化 凸函数、共轭函数、凸优化、Lagrange对偶函数 第五课：回归 高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系 应用方向：线性回归、Logistic回归实现和分析 第六课：梯度下降与拟牛顿法 梯度下降算法、自适应学习率、拟牛顿、LBFGS 应用方向：自适应学习率代码实现和参数调试分析 第七课：最大熵模型 熵、相对熵、信息增益、最大熵模型、Softmax回归 应用方向：独立成分分析ICA求解盲源分离BBS问题 第八课：决策树和随机森林（蒙特卡罗） ID3、C4.5、CART、Bagging 研究方向:使用随机森林进行数据分类（蒙特卡洛） 第九课：SVM 线性可分支持向量机、软间隔、核函数、SMO 研究方向：使用SVM进行数据分类 第十课：聚类 K-means/K-Medoids、密度聚类、谱聚类、 应用方向：K-means、谱聚类代码实现和参数调试分析 第十一课：推荐系统 相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走 应用方向：协同过滤用于商品推荐、SVD隐变量的推荐 第十二课：提升 梯度提升决策树GBDT、Adaboost、前向分步算法 应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类 第十三课：EM算法和GMM EMM算法、GMM、主题模型pLSA 应用方向：分解部分观测数据的男女身高、图像分解 第十四课：普斯贝叶斯和贝叶斯网络初步 有向分离、（隐）马尔科夫模型HMM 第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样 应用方向：使用Gibbs采样计算给语料的主题 第十六课：采样 MCMC（Markov chain Monte Carlo）、Metropolis-Hastings算法、Gibbs采样 第十七课：变分 KL(pllq)与KL（qllp）分析、平均场理论 第十八课：隐马尔科夫模型HMM 概率计算问题、HMM参数学习问题、状态预测问题 应用方向：使用HMM进行中文分词 第十九课：条件随机场CRF 无向图模型、MRF、前向-后向算法 第二十课：深度学习 全连接网络、链式法则与BP算法、卷积网络、残差网络、 应用方向：使用BP网络对样本分类 第十三课：深度学习总体介绍 神经网络；传统到现代 深度学习应用特定 深度学习发展方向 深度学习框架比较：用Tensorflow进行课程学习 第十四课：传统神经网络 1.? 线性回归 ????? 2.? 非线性激励函数 ????? 3.? loss 函数，常见问题：过拟合，正则化，dropout ????? 实例：传统神经网络络实现 ?第十五课? 反向反馈：深度学习模型优化基础 ? ??? ? 1.? SGD 梯度下降介绍 ????? 2.? 神经网络的梯度优化 ????? 3.? 神经网络训练 ????? 实例：反向梯度优化对比 ? 第十六课 卷积神经网络 ? ? ? ??1.? 卷积核以及卷积层 ????? 2.? AlexNet 最早的现代神经网络 ????? 3.? VGG，GoogleNet,，ResNet. 近期的高级网络LeNet ????? 实例：利用已有模型进行物体分类／特征提取 ? 第十七课 迁移学习 ? ? ? ??1.? 理论分析 ????? 2.? 迁移模型原始训练模型 ????? 3.? 如何设计新的的网络 ????? 实例：表情识别／人脸识别／动物识别 ? 第十八课 与时域信息相关的深度学习 ? ??? ? 1.? RNN???? ????? 2.? LSTM ????? 3.? 图片标题生成 ????? 4.? 视频处理 ????? 实例：LSTM用于图片标题生成 第十九课 自然语言处理 ? ? ? ??1.? 处理之前：speech to text ????? 2.? 词语表达，word2vect ????? 3.? 语句生成LSTM ????? 实例：根据上下文回答问题 第二十课 给予深度学习的目标检测 ? ? ??1.? 传统的目标检测方法 ????? 2.?? 初代算法： Region CNN ????? 3.?? 升级： S