机器学习-Knn与贝叶斯学习部分方案研究.ppt

机器学习;机器学习概述——简介;机器学习概述——机器学习应用;机器学习概述——机器学习的定义;机器学习概述——机器学习的发展历史;（1）通用学习系统的研究 这一时期从50年代中叶开始，几乎和人工智能学科的诞生同步。当时，人工智能的研究着重于符号表示和启发式方法的研究，而机器学习却致力于构造一个没有或者只有很少初始知识的通用系统，这种系统所应用的主要技术有神经元模型、决策论和控制论。 鉴于当时计算机技术的限制，研究主要停留在理论探索和构造专用的实验硬件系统。这种系统以神经元模型为基础，只带有随机的或部分随机的初始结构，然后给它一组刺激，一个反馈源和修改自身组织的足够自由度，使系统有可能自适应地趋向最优化组织。这种系统的代表是称为感知器的神经网络。 ;（1）通用学习系统的研究 这种系统的代表是称为感知器的神经网络。系统的学习主要靠神经元在传递信号的过程中，所反映的概率上的渐进变化来实现。同时也有人开发了应用符号逻辑来模拟神经元系统的工作，如McCulloch 和 Pitts用离散决策元件模拟神经元的理论。相关的工作包括进化过程的仿真，即通过随机演变和自然选择来创造智能系统，如Friedberg的进化过程模拟系统。这方面的研究引出了二个副产品:形成了人工智能的一个新分支──模式识别，并创立了学习的决策论方法。这个方法的学习含义是从给定的例子集中，获取一个线性的、多项式的或相关的识别函数。;（1）通用学习系统的研究 神经元模型的研究未取得实质性进展，并在60年代末走入低谷。作为对照，一种最简单、最原始的学习方法--机械学习，又称为死记式学习，却取得了显著的成功。该方法通过记忆和评价外部环境提供的信息来达到学习的目的。采用该方法的代表性成果是塞缪尔(A.L.Samuel)于50年代末设计的跳棋程序，随着使用次数的增加，该程序会积累性记忆有价值的信息，可以很快达到大师级水平。正是机械学习的成功激励了研究者们继续进行机器学习的探索性研究。 ;（2）基于符号表示的概念学习系统研究 人们研究了从例子中学习结构化概念???各种不同方法。也有部分研究者构造了面向任务的专用系统，这些系统旨在获取特定问题求解任务中的上下文知识，代表性工作有亨特和哈兰德(Hunt C.I.Hovland)的CLS和巴查纳(B.G.Buchanan)等的META-DENDRAL，后者可以自动生成规则来解释DENDRAL系统中所用的质谱数据。这个时期机器学习的研究者已意识到应用知识来指导学习的重要性，并且开始将领域知识编入学习系统，如META-DENDRAL和里南(D.B.Lenat，1976)的AM等。 ;（3）基于知识的学习系统研究 起始于70年代中期的第三时期注重基于知识的学习系统研究。人们不再局限于构造概念学习系统和获取上下文知识，同时也结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。一些成熟的方法开始用于辅助构造专家系统，并不断地开发新的学习方法，使机器学习达到一个新的时期。 ;（3）基于知识的学习系统研究 这时期的工作特点主要有三个方面: 1)基于知识的方法:着重强调应用面向任务的知识和指导学习过程的约束。从早先的无知识学习系统的失败中吸取的教训就是:为获取新的知识，系统必须事先具备大量的初始知识。 2)开发各种各样的学习方法，除了早先从例子中学习外，各种有关的学习策略相继出现，如示教学习, 观察和发现学习。同时也出现了如类比学习和基于解释的学习等方法。 3)结合生成和选择学习任务的能力:应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念与控制系统的注意力等。;（4）联接学习和符号学习的深入研究 第四时期开始于八十年代后期，联接学习和符号学习的深入研究导致机器学习领域的极大繁荣。首先，神经网络的研究重新迅速崛起，并在声音识别、图象处理等诸多领域得到很大成功。一批在机器学习第一时期中从事研究的学者，经过坚持不懈的努力，发现了用隐含层神经元来计算和学习非线性函数的方法，克服了早期神经元模型的局限性。计算机硬件技术的高速发展也为开发大规模和高性能的人工神经网络扫清了障碍，使得基于人工神经网络的联接学习(Connectionist Learning)从低谷走出，发展迅猛，并向传统的基于符号的学习提出了挑战。;（4）联接学习和符号学习的深入研究 与此同时，符号学习已经历了三十多年的发展历程，各种方法日臻完善，出现了应用技术蓬勃发展的景象。最突出的成就有分析学习(特别是解释学习)的发展, 遗传算法的成功，和加强学习方法的广泛应用。特别是近几年来，随着计算机网络的发展，基于计算机网络的各种自适应、具有学习功能的软件系统的研制