第5章机器学习_839903266.docVIP

机器学习 自从计算机问世以来，人们就想知道机器能不能自己学习。我们希望机器具有这样一种机制，它们能够根据经验来自动提高自己的性能。想像一下，在未来，计算机能从医疗记录中学习和获取治疗新疾病最有效的方法；住宅管理系统分析住户的用电模式，以降低能源消耗；个人软件助理跟踪用户的兴趣，并为其选择最感兴趣的在线早间新闻。对计算机学习的认识和理解将开辟出许多新的应用领域，并使其计算能力上升到新的层次。同时，透彻理解机器学习的算法，对于人类的学习也会有更好的理解。 目前，计算机的学习能力与人类相比还有很大的差距。我们不知道怎样使计算机具备和人类一样强大的学习能力。然而，一些针对特定学习任务的算法已经产生，并产生了良好的效果。关于学习的理论也开始逐步形成。人们开发出很多计算机程序来实现不同类型的学习，并将其应用于实际中。一些商业化的应用也已经出现。例如,在语音识别领域，迄今为止，基于机器学习的算法明显比其他的方法更好。在数据挖掘领域，机器学习算法被用来从包含设备维护记录、借贷申请、金融交易、医疗记录等此类信息的大型数据库中发现有价值的信息。随着对计算机认识的日益成熟，机器学习正在计算机科学和技术中扮演越来越重要的角色! 一些具体的成功案例可以表明机器学习的发展现状：计算机已经能够成功地识别人类的讲话(Waibell989，Leel989)；霉瓣肺炎患者的康复率(Cooperetal。1997)；检测信用卡的欺诈；在高速公路上自动驾驶汽车(Pomerleaul989)；以接近人类世界冠军的水平对弈西洋双陆棋”这样的游戏(Tesaur01992，1995)。已有很多理论成果能够对训练样本数量、假设空间大小和已知假设中的预期错误这三者间的基本关系进行刻画。我们正开始获取人类和动物学习的原始模型，用以理解它们和计算机的学习算法间的关系(例如，Laird。tal．1986，Ander·sonl991，Qinetd．1992，ChiBassock 1989，AhnBrewerl993)。在过去的十年中，无论是应用、算法、理论，还是生物系统的研究，都取得了令人瞩目的进步。机器学习最新的几种应用被归纳在表5-1中。LangleySimon(1995)以及Rumelhartetal．(1994)调查了机器学习的一些其他应用。 表5-1 机器学习的一些成功应用 ●学习识别人类的讲话 所有最成功的语音识别系统都使用了某种形式的机器学习技术。例如，SPHINX系统(参见Lee 1989)可针对特定讲话者学习语音识别策略，从检测到的语音信号中识别出基本的音素(phoneme)和单词。神经网络学习方法(例如Waibel ets al．1989)和隐马尔可夫模型(hidden Markov model)学习方法(参见Lee l989)在语音识别系统中也非常有效。它们可以让系统自动适应不同的讲话者、词汇、麦克风特性和背景噪音等等。类似的技术在很多信号解释课题中也有应用潜力 学习驾驶车辆 机器学习方法已经用于训练计算机控制的车辆，使其在各种类型的道路上正确行驶。例如，ALVINN系 统(Pomerleau l989)已经能利用它学会的策略独自在高速公路的其他车辆之间奔驰，以70英里的时速行驶了90英里。类似的技术有可能在很多控制问题中得到应用 ●学习分类新的天文结构 、 机器学习方法已经被用于从各种大规模的数据库中发现隐藏的一般规律。例如，决策树学习算法已经被美国国家航空和航天局(NASA)用来分类天体，这些天体来自第二帕洛马天文台的太空观察结果(Fayyaadeta1 1995)。这一系统现在被用于对太空观察中的所有天体进行自动分类，其中包含了3T字节的图像数据 ●学习以世界级的水平对弈西洋双陆棋 ’ 很多成功的博弈类(如西洋双陆棋)计算机程序是基于机器学习算法的。例如；世界最好的西洋双陆棋程序TD-GAMMON(TeSO,Hl~1992，1995)是通过一百万次以上与自己对弈来学习其策略的，现在它的水平能与人类的世界冠军相比。类似的技术已被应用于许多实际问题，在这些问题中，都需要高效地搜索庞大的搜索空间 机器学习是一个多学科的研究领域，它吸收了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经科学等学科的成果。表5-2归纳了这些学科以及它们对于机器学习的影响。 表5-2 一些学科和它们对机器学习的影响 ● 贝叶斯方法 贝叶斯定理。朴素（naive）贝叶斯分类器。隐含变量的估计算法。 ● 计算复杂性理论 一些学习任务中固有的计算复杂性，以计算量、训练样本数量、出错数量等衡量 ● 控制论 ‘ 为了优化预定目标，学习对各种处理过程进行控制，学习预测被控制的过程的下一个状态 ●信