机器学习算法其及应用.doc

机器学习方法及应用 1、机器学习 学习是生物中枢神经系统的高级整合技能之一,是人类获取知识的重要途径和人类智能的重要标志,按照人工智能大师H·Simon的观点[1]:学习就是系统在不断重复的工作中对本身能力的增强或改进,使得系统在下一次执行同样或相类似的任务时,会比原来做得更好或效率更高。 机器学习则是计算机获取知识的重要途径和人工智能的重要标志,是一门研究怎样用计算机来模拟或实现人类学习活动的学科,是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。一般认为,机器学习是一个有特定目的的知识获取过程,其内部表现为从未知到已知这样一个知识增长过程,其外部表现为系统的某些性能和适应性的改善,使得系统能完成原来不能完成或更好地完成原来可以完成的任务。它既注重知识本身的增加,也注重获取知识的技能的提高。 1.1 机器学习基本模型 以H·Simon的学习定义作为出发点,建立如图1的基本模型。在机器学习的过程中,首要的因素是外部环境向系统提供信息的质量。外部环境是以某种形式表达的外界信息集合,它代表外界信息来源;学习是将外界信息加工为知识的过程,先从环境获取外部信息,然后对这些信息加工形成知识,并把这些知识放入知识库中;知识库中存放指导执行部分动作的一般原则,由于环境向学习系统提供的信息形形色色,信息质量的优劣直接影响到学习部分容易实现还是杂乱无章。而知识库则是影响学习系统设计的第二个因素,由于知识库可能不同,表达方式各有特点,在选择表示方式上要兼顾表达能力强、易于推理、易于完善及扩展知识表示等几个方面的要求。执行环节是利用知识库中的知识完成某种任务的过程,并把完成任务过程中所获得的一些信息反馈给学习环节,以指导进一步的学习。 1.2机器学习的发展和研究目标 机器学习是人工智能研究较为年轻的分支,它的发展过程大体上分为四个时期[2]。 第一阶段是20世纪50年代中叶到60年代中叶,属于热烈时期。在这个时期,所研究的是“没有知识”的学习,即“无知”学习。其研究目标是各类自组织系统和自适应系统,其主要研究方法是不断修改系统的控制参数和改进系统的执行能力,不涉及与具体任务有关的知识。本阶段的代表性工作是:塞缪尔(Samuel)的下棋程序。但这种学习的结果远不能满足人们对机器学习系统的期望。 第二阶段是在60年代中叶到70年代中叶,被称为机器学习的冷静时期。本阶段的研究目标是模拟人类的概念学习过程,并采用逻辑结构或图结构作为机器内部描述。本阶段的代表性工作有温斯顿(Winston)的结构学习系统和海斯罗思(Hayes-Roth)等的基本逻辑的归纳学习系统。 第三阶段从20世纪70年代中叶到80年代中叶,称为复兴时期。在此期间,人们从学习单个概念扩展到学习多个概念,探索不同的学习策略和方法,且在本阶段已开始把学习系统与各种应用结合起来,并取得很大的成功,促进机器学习的发展。1980年,在美国的卡内基—梅隆(CMU)召开了第一届机器学习国际研讨会,标志着机器学习研究已在全世界兴起。 当前机器学习围绕三个主要研究方向进行: 1.面向任务:在预定的一些任务中,分析和开发学习系统,以便改善完成任务的水平,这是专家系统研究中提出的研究问题; 2.认识模拟:主要研究人类学习过程及其计算机的行为模拟,这是从心理学角度研究的问题; 3.理论分析研究:从理论上探讨各种可能学习方法的空间和独立于应用领域之外的各种算法。 这三个研究方向各有自己的研究目标,每一个方向的进展都会促进另一个方向的研究。这三个方面的研究都将促进各方面问题和学习基本概念的交叉结合,推动了整个机器学习的研究。 机器学习的研究目标大致有三个方向,一个方向是基础性训究,发展各种适合机器特点的学习理沦,探讨所有可能的学习方法,比较人类学习与机器学习的异同与联系;一个方向是以模拟人类的学习过程出发,试图建立学习的认识生理学模型,这个方向与认知科学的发展密切相关;一个方向是应用研究,建立各种实用的学习系统或知识获取辅助工具,在人工智能科学的应用领域建立自动获取知识系统,积累经验,完善知识库与控制知识,进而能使机器的智能水平像人类一样。 2.机器学习方法 2.1机械学习 机械学习就是记忆,即把新的知识存储起来,供需要时检索调用,而无须计算和推理。任何学习系统都必须记住它们获取的知识。在机械学习系统中,知识的获取以较为稳定和直接的方式进行,不需要系统进行过多的加工。而对于其他学习系统,需要对各种建议和训练例子等信息进行加工处理后,才能存储起来。当机械学习系统的执行部分解决好问题之后,系统就记住该问题及其解。可以把学习系统的执行部分抽象地看成某个函数,该函数在得到自变量输入值(X1,X2,…,Xn)之后,计算并输出函数值(Y1,Y2,…,Yp)。机械学习在存储器中简单地记忆存储对((X1,X2,