机器学习 课件 第1章 基础知识.pptx

第1章基础知识主讲：胡晓（教授）广州大学，机械与电气工程学院，类脑机器视觉研究室《论语·述而》：三人行，必有我师焉。择其善者而从之，其不善者而改之。

1.1什么是机器学习??学习算法????????

1.1什么是机器学习??属性(Attribute)，也成为特征。构成的向量为特征向量或属性向量?属性值都是随机的，通常假设样本集获得属性向量是独立同分布?标签(label)?

1.2机器学习分类?分类回归??

1.3模型评估???学习算法????

2.准确率和错误率?

??三角形区?

??三角形区?

?????????

4.均方差和峰值信噪比?

???

1.4优化??学习算法????通过训练样本，获得模型参数的过程称为参数学习??

1.损失函数??????????

2.目标函数?

3.最小二乘法????????????《机器学习》学习时长与考试成绩的关系学习天数1012015818考试成绩821098936590

4.梯度下降法??

4.梯度下降法?每次迭代，从训练集中随机抽取一小部分样本计算目标函数，计算梯度、更新参数。

5.梯度修正梯度修正动量法Nesterov加速梯度法?目标函数曲面沿不同方向变化快慢不一致。在随机(小批量)梯度下降法中，如果每次选取样本数量比较少，迭代步长则具有随机性。如果梯度方向处于急变区，则变化快；如果处于平坦区，则变化慢，导致损失函数以振荡方式下降。此外，一旦进入损失函数的局部最小点或鞍点，也可能难以跳出。动量法为解决或缓解上述问题提供可能：通过使用最近一段时间内的平均梯度来代替当前的随机梯度。

动量法????

动量法Nesterov加速梯度法，NAG????

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法??Adagrad算法是由JohnDuchi等人提出的一种自适应学习率的梯度下降法：对不同的参数采用不同学习率，低频出现参数采用大学习率，高频出现参数采用小学习率。?

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法???由MatthewD.Zeiler提出的旨在解决Adagrad学习率不断下降问题的一种改进算法，该算法仅计算在近期梯度值的累积和?

5.学习率调整学习率调整学习率衰减，学习率退火Adagrad算法Adadelta算法Adam算法????DiederikP.Kingma等人提出适应性动量估计法(AdaptiveMomentEstimation)?

谢谢！