第6章节 机器学习.ppt

第六章 机器学习 6.1 机器学习概念 6.2 示例学习 6.2.1示例学习的两个空间模型 6.3 基于解释的学习 6.4基于案例的推理 6.5 加强学习 6.1 机器学习的概念 6.1.1 机器学习的发展历史 1.神经元模型研究阶段 这个时期主要技术是神经元模型以及基于该模型的决策论和控制论;机器学习方法通过监督（有教师指导的）学习来实现神经元间连接权的自适应调整，产生线性的模式分类和联想记忆能力。具有代表性的工作有F·Rosenblaft的感知机（1958年）；N·Rashevsky数学生物物理学（1948年）；W·S·McCullouch与W·Pitts的模式拟神经元的理论（1943年）;R·M·Friedberg对生物进化过程的模似等。 2．符号概念获取研究阶段 60年代初期，机器学习的研究进入了第二阶段，在这个阶段，心理学和人类学习的模似占有主导地位，其特点是使用符号而不是数值表示来研究学习问题，其目标是用学习来表达高级知识的符号描述。在这一观点的影响下，主要技术是概念获取和各种模式识别系统的应用；研究人员一方面深入探讨学习的简单概念，另一方面则把大量的领域知识并入学习系统，以便它们发现高深的概念。 这个阶段代表性的工作是温斯顿（Winston，1975）的基于示例归纳的结构化概念学习系统。 3．基于知识的各种学习系统研究阶段 机器学习发展的第三个阶段始于70年代中期，这个阶段不再局限于构造概念学习系统和获取上下文知识，结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。 相应的有关学习方法相继推出，比如示例学习、示教学习、 观察和发现学习、类比学习、基于解释的学习。工作特点强调应用面向任务的知识和指导学习过程的约束，应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统的注意力等。 4．联结学习和符号学习共同发展阶段 80年代后期以来，形成了联结学习和符号学习共同发展的局的第四个阶段。在这个时期，发现了用隐单元来计算和学习非线性函数的方法，从而克服了早期神经元模型的局限性，同时，由于计算机硬件的迅速发展，使得神经网络的物理实现变成可能，在声间识别、图像处理等领域，神经网络取得了很大的成功。 在这个进期，符号学习伴随人工智能的进展也日益成熟，应用领域不断扩大，最杰出的工作有分析学习（特别是解释学习）、遗传算法、决策树归纳等。现在基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发,将机器学习的研究推向新的高度。 6.1.2什么是机器学习 什么是机器学习，到今仍没有严格定义，不同学派对机器学习有不同的定义 准确、完整地给出机器学习的定义很困难，综合上述三种观点可以得出，学习是对某一个特定目标的知识获取的智能过程，系统的内部表现为新知识结构的建立和改进，外部表现为系统性能的改善，变得更快、更精确、更健全。 一个机器学习系统应具有以下特点： 1.具有适当的学习环境 学习系统中环境并非指通常的物理条件，而是指学习系统进行学习时所必需的信息来源。 2.具有一定的学习能力 一个好的学习方法和一定的学习能力是取得理想的学习效果的重要手段。所以，学习系统应模拟人的学习过程，使系统通过与环境反复多次相互作用，逐步学到有关知识，并且要使系统在学习过程中通过实践验证、评价所学知识的正确性。 3.能用所学的知识解决问题 学习的目的在于应用，学习系统能把学到的信息用于对未来的估计、分类、决策和控制。 4.能提高系统的性能 提高系统的性能是学习系统最终目标。通过学习，系统随之增长知识，提高解决问题的能力，使之能完成原来不能完成的任务，或者比原来做得更好。 学习系统至少应有环境、知识库、学习环节和执行环节四个基本部分。一种典型的机器学习系统（迪特里奇（Dietterich）学习模型）如图6-1所示。环境向系统的学习部件提供某些信息，学习环节利用这些信息修改知识库，增进执行部件的效能；执行环节根据知识库完成任务，同时把获得的信息反馈给学习部件。下面介绍其主要组成部分的功能。 1.环境 系统中的环境包括工作对象和外界条件。比如在医疗系统中，环境就是病人当前的症状，物化检验的报告和病历等信息；在模式识别中，环境就是待识别的图形或影物；在控制系统中，环境就是受控的设备或生产流程。 环境提供给系统的信息水平和质量对于学习系统有很大的影响。信息的水平是指信息的一般性程度，也就是适用范围的广泛性，高水平的信息往往比较抽象，适用面更广泛。 信息的质量指信息的正确性、信息选择的适宜性和信息组织的合理性。信息质量对学习难度有明显的影响。 2.学习环节 学习环节是系统的学习机构，是学习系统的核心。它通过对环境的搜索取得外部信息，然后经分析、综合、类比、推理等思维过程获得知识，并将