周志华《机器学习》学习笔记.docxVIP

PAGE 5 机器学习 周志华 学习笔记  目 录 TOC \o 1-3 \h \z \u 1 绪论 7 2 模型的评估与选择 9 2.1 误差与过拟合 9 2.2 评估方法 10 2.3 训练集与测试集的划分方法 10 2.4 调参 12 2.5 性能度量 13 2.6 比较检验 21 2.6.1 假设检验 21 2.6.2 交叉验证t检验 23 2.6.3 McNemar检验 23 2.6.4 Friedman检验与Nemenyi后续检验 24 2.7 偏差与方差 26 3、线性模型 27 3.1 线性回归 27 3.2 线性几率回归 30 3.3 线性判别分析 31 3.4 多分类学习 33 3.5 类别不平衡问题 35 4、决策树 36 4.1 决策树基本概念 36 4.2 决策树的构造 37 4.2.1 ID3算法 38 4.2.2 C4.5算法 38 4.2.3 CART算法 39 4.3 剪枝处理 39 4.4 连续值与缺失值处理 41 5、神经网络 43 5.1 神经元模型 43 5.2 感知机与多层网络 45 5.3 BP神经网络算法 48 5.4 全局最小与局部最小 51 5.5 深度学习 52 6、支持向量机 54 6.1 函数间隔与几何间隔 54 6.1.1 函数间隔 55 6.1.2 几何间隔 55 6.2 最大间隔与支持向量 56 6.3 从原始优化问题到对偶问题 57 6.4 核函数 59 6.5 软间隔支持向量机 61 7、贝叶斯分类器 65 7.1 贝叶斯决策论 65 7.2 极大似然法 67 7.3 朴素贝叶斯分类器 69 8、EM算法 70 8.1 EM算法思想 70 8.2 EM算法数学推导 71 8.3 EM算法流程 73 9、集成学习 74 9.1 个体与集成 74 9.2 Boosting 76 9.3 Bagging与Random Forest 78 9.3.1 Bagging 78 9.3.2 随机森林 80 9.4 结合策略 80 9.4.1 平均法（回归问题） 80 9.4.2 投票法（分类问题） 81 9.4.3 学习法 82 9.5 多样性（diversity） 82 10、聚类算法 84 10.1 距离度量 84 10.2 性能度量 86 10.2.1 外部指标 86 10.2.2 内部指标 87 10.3 原型聚类 88 10.3.1 K-Means 88 10.3.2 学习向量量化（LVQ） 89 10.3.3 高斯混合聚类 90 10.4 密度聚类 93 10.5 层次聚类 94 11、降维与度量学习 96 11.1 K近邻学习 96 11.2 MDS算法 98 11.3 主成分分析（PCA） 99 11.4 核化线性降维 100 11.5 流形学习 102 11.5.1 等度量映射（Isomap） 102 11.5.2 局部线性嵌入(LLE) 104 11.6 度量学习 105 12、特征选择与稀疏学习 108 12.1 子集搜索与评价 108 12.2 过滤式选择（Relief） 109 12.3 包裹式选择（LVW） 110 12.4 嵌入式选择与正则化 112 12.5 稀疏表示与字典学习 113 12.6 压缩感知 114 13、计算学习理论 115 13.1 PAC学习 116 13.2 有限假设空间 117 13.2.1 可分情形 118 13.2.2 不可分情形 118 13.3 VC维 119 13.4 稳定性 121 14、半监督学习 123 14.1 生成式方法 124 14.2 半监督SVM 126 14.3 基于分歧的方法 127 14.4 半监督聚类 129 15、概率图模型 131 15.1 隐马尔可夫模型(HMM) 131 15.1.1 HMM评估问题 133 15.1.2 HMM解码问题 134 15.1.3 HMM学习问题 134 15.2 马尔可夫随机场（MRF）