01-绪论概述.ppt

Independent variable (x) Dependent variable (y) y’ = b0 + b1X ± ? b0 (y intercept) B1 = slope = ?y/ ?x ? 最小二乘方法 概率密度估计问题：根据训练样本确定x的概率分布 p(x,w)，则损失函数可定义为: 1.3 几种学习问题 最大似然估计 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 有监督/无监督学习 有监督(Supervised)：分类、回归 无监督(Unsupervised)：概率密度估计、聚类、降维 半监督(Semi-supervised)：EM、Co-training 其他学习方法 强化学习(Reinforcement Learning) 多任务学习(Multi-task learning) 1.3 几种学习问题 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 Occams razor 树后面有多少个盒子？ 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 Blue: Observed data Red: Predicted curve Green: true distribution 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 William of Occham (1285–1348) from wikipedia Occams razor: Entities should not be multiplied unnecessarily —— the explanation of any phenomenon should make as few assumptions as possible, eliminating, or shaving off, those that make no difference in the observable predictions of the explanatory hypothesis or theory. 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 最小描述长度MDL（minimum description length） 源自数据压缩/最优编码 可译变长编码：越频繁的信息码长越短 平均信息长度越短 消息的长度 与事件 zi 的概率 之间的关系为： 为了传递具有概率密度为 的随机变量 zi ，需要大约 位 平均信息长度 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 假设我们有以θ为参数的模型M，和包含输入输出数据Z=(X, y)，则传递输出的消息长度为： 用于传递模型与目标差别所需要的消息长度 传递模型参数所需的消息长度 选择最小长度的模型等价于选择最大后验概率的模 型 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 使模型的算法复杂度，以及与该模型相适应的训练数据的描述长度之和最小。 1.4 学习算法的评价 预测精度分析 第一章 绪 论 1.1 机器学习的发展与应用 1.2 机器学习问题的统一表达 1.3 几种学习问题 1.4 学习算法的评价 1.4 学习算法的评价 当样本足够多时，可以将数据分成三份 训练集：估计模型的参数 校验集：估计模型的预测误差(Validation set is like your test set. You use it to select your algorithm or model.) 测试集：被测试(Test data is your future data. Put it away as far as possible don’t look at it.) 但通常没有足够多