机器学习研究.pptxVIP

机器学习研究会计学第1页/共93页反思网络经济的泡沫破灭之后，哪些是值得我们在研究方向上反思的问题呢？我们的研究应注意哪些课题呢？第2页/共93页需求---NII计划不分地域地、有效地获得与传输信息。不分地域地、有效地共享硬软资源。有效地利用信息，以提高生产率。保证信息安全。第3页/共93页在过去的十年中，做了什么？以浏览器为核心技术的“有效获得信息”的研究取得了预期效果。人们已可以从不同地域有效地获得信息。但是，，，第4页/共93页硬软资源的使用在网络上的硬软资源的利用率只有3-5%。大量计算资源没有由于网络设施的支持而被充分利用。硬软件的快速更新，导致对环境的污染。第5页/共93页信息的有效使用由于技术发展的滞后，在网络上获得的信息和与提高生产率有关的信息的有效使用率甚至低于1%。占用大量硬软资源的信息正在大量地被浪费。第6页/共93页信息安全信息的安全还没有保证。第7页/共93页提高信息使用率以机器学习为理论基础的各种方法，是提高信息使用率的有效途径之一。第8页/共93页机器学习复杂数据分析(符号机器学习)第9页/共93页机器学习机器学习的一般说明统计机器学习集成机器学习第10页/共93页机器学习的研究动力领域应用驱动。算法驱动。第11页/共93页领域应用驱动自然语言数据分析。DNA数据分析。网络与电信数据分析。图像数据分析。金融与经济数据分析。零售业数据分析。情报分析。没有一种算法可以解决复杂的实际问题。需要各种算法集成。第12页/共93页算法驱动海量数据(108-10)。算法的泛化能力，或算法可解释。不同类型数据的学习方法。第13页/共93页机器学习研究热点的变迁1989年(Carbonell), 1997年(Dietterich)符号机器学习。 符号机器学习。连接机器学习。 集成机器学习。遗传机器学习。 统计机器学习。分析机器学习。 增强机器学习。第14页/共93页机器学习计算的说明令W是这个给定世界的有限或无限所有对象的集合，由于我们观察能力的限制，我们只能获得这个世界的一个有限的子集Q?W。机器学习的任务就是根据这个世界的对象子集Q，计算这个世界的统计分布。这样，在统计意义下，这个分布对这个世界的绝大多数对象是正确的。这就是这个世界的一个模型。第15页/共93页三个要求一致性假设：机器学习任务的本质。对样本空间的划分：决定对样本的有效性。泛化能力：决定对世界的有效性。第16页/共93页一致性假设假设世界W与被观察的对象集合Q具有某种相同的性质。称为一致性假设。第17页/共93页基于统计的假设原则上说，存在各种各样的一致性假设。在统计意义下，一般假设：W与Q具有同分布。或，给定世界W的所有对象独立同分布。第18页/共93页划分将被观测的对象集合放到一个n维欧氏空间，寻找一个超平面，使得问题决定的不同对象分在不相交的区域。机器学习主要研究的是这部分内容，即，寻找划分对象集合的超平面(等价关系)。第19页/共93页超平面类型光滑且连续的超平面。有限不光滑点，甚至有限不连续点的超平面。第20页/共93页光滑连续超平面作为研究基础Perceptron，人工神经网络是典型例子。困难：对线性不可分的对象集合，如果限制算法是P的，则存在本质性困难。第21页/共93页泛化机器学习的首要任务是划分。只有找到一个等价关系(模型)，将不同类的样本划分为不同的类，才能考虑其他问题。泛化是一个确定的划分对世界的分类能力。由于可能存在不同的划分样本集合方法，其泛化能力不同，泛化能力最强的划分就是我们希望的分类器。第22页/共93页Duda的泛化能力描述以样本个数趋近无穷大来描述模型的泛化能力。泛化能力需要使用世界W来刻画，是无法构造的判据。均方差可作为目标函数。第23页/共93页评述由于人们没有找到基于样本集合Q的描述泛化能力的数学工具。另外，线性不可分问题是一个困难。在感知机时代，基于Duda泛化理论无法指导机器学习算法的设计，这样，评价机器学习算法只能以划分能力作为指标。Vapnik对这个问题做出重要贡献。这样，注重从划分变为泛化。第24页/共93页以划分能力为目标的研究这类研究的指导思想，一直延续到上个世纪的九十年代。直到今天，还有大量的学者以此作为机器学习的指导思想。以BP算法为核心的神经网络研究是典型例子。划分是机器学习的一个目标，但是，不是预测任务的主要研究目标。第25页/共93页神经网络---BP算法使用了一种非线性的基函数。这项研究的意义是为研究者回归感知机做好了舆论的准备。其在科学上的意义，远不如提示人们再次注意感知机的作用更大。第26页/共93页统计机器学习理论与SVM对机器学习的研究者来说，统计机器学习理论所派生的算法SVM似乎更有吸引力。但是，如果研究者