机器学习的发展历史介绍.pdfVIP

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

机器学习的发展历史介绍

从1642年Pascal发明的手摇式计算机，到1949年DonaldHebb

提出的赫布理论——解释学习过程中大脑神经元所发生的变化，都蕴

含着机器学习思想的萌芽。

事实上，1950年图灵在关于图灵测试的文章中就已提及机器学习

的概念。到了1952年，IBM的亚瑟·塞缪尔(ArthurSamuel，被誉为

“机器学习之父”)设计了一款可以学习的西洋跳棋程序。它能够通过

观察棋子的走位来构建新的模型，用来提高自己的下棋技巧。塞缪尔

和这个程序进行多场对弈后发现，随着时间的推移，程序的棋艺变得

越来越好[1]。塞缪尔用这个程序推翻了以往“机器无法超越人类，不

能像人一样写代码和学习”这一传统认识，并在1956年正式提出了“机

器学习”这一概念。他认为“机器学习是在不直接针对问题进行编程

的情况下，赋予计算机学习能力的一个研究领域”。

对机器学习的认识可以从多个方面进行，有着“全球机器学习教

父”之称的TomMitchell则将机器学习定义为：对于某类任务T和性

能度量P，如果计算机程序在T上以P衡量的性能随着经验E而自我完

善，就称这个计算机程序从经验E学习。这些定义都比较简单抽象，

但是随着对机器学习了解的深入，我们会发现随着时间的变迁，机器

学习的内涵和外延在不断地变化。因为涉及到的领域和应用很广，发

展和变化也相当迅速，简单明了地给出“机器学习”这一概念的定义

并不是那么容易。

普遍认为，机器学习(MachineLearning，常简称为ML)的处理系

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

统和算法是主要通过找出数据里隐藏的模式进而做出预测的识别模式，

它是人工智能(ArtificialIntelligence，常简称为AI)的一个重要子

领域，而人工智能又与更广泛的数据挖掘(DataMining，常简称为DM)

和知识发现(KnowLEDgeDiscoveryinDatabase，常简称为KDD)领域

相交叉。

1956年机器学习的概念由ArthurSamuel正式提出。

1965年，JamesWilliamCooley和JohnTukey设计了快速傅里

叶变换(FFT)算法，用于计算由多个简单函数组合而成的原始信号的正

弦曲线的幅度、相位和频率，该算法被广泛应用于各类工程、科学和

数学问题中。

1980年，KunihikoFukushima发明了neocognitron，它是一个分

层的多层人工神经网络，它的出现直接导致了后期卷积神经网络

(ConvolutionalNeuralNetwork，通常简称为CNN)的发明。

1993年，免费的、非商业化机器学习以及数据挖掘软件WEKA面世，

它是由新西兰怀卡托大学研发的[6]。WEKA作为一个公开的数据挖掘工

作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数

据进行预处理、分类、回归、聚类、关联规则以及在新的交互式界面

上的可视化，它的出现极大地降低了学习机器学习的门槛。

1995年，贝尔实验室的TinKamHo利用随机子空间方法创建随机

决策森林(RandomDecisionForests)算法，该算法既可以用于回归也

可以用于分类任务，并且很容易查看模型输入特征的相对重要性，是

一个高度灵活并且应用广泛的算法。

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

2010年，Kaggle由其联合创