机器学习概论资料.doc

机器学习概论 自从计算机以来，人们就知道们学习。如果我们学习根据经验来自动提高，那么影响将是空前的。一下，计算机能从医疗记录中学习治疗新疾病的最有效方法；降低能源消耗；个人软件助理跟踪用户的兴趣计算机学习将开辟并上升到新层次。同时，透彻理解机器学习的信息处理算法也会有助于更好理解人类的学习能力。目前，我们还不知道怎样计算机的学习人类。然而一些针对特定学习任务的算法已经产生。学习的理论已开始逐步形成。的计算机程序类型学习一些商业化的应用也已经出现。例如对于语音识别这样的课题，至今为止基于机器学习的算法明显胜过其他。在数据挖掘领域，机器学习算法理所当然从包含设备维护记录、借贷申请、金融交易、医疗记录类似信息的数据库中发现有价值的信息。随着计算机的日益成熟，机器学习必将在计算机中越来越重要的角色！Waibel 1989；Lee 1989）；预测肺炎患者的康复率（Cooper et al. 1997）；检测信用卡欺诈；在高速公路上驾驶（Pomerleau 1989）；以接近人类世界冠军的水平对弈西洋双陆棋这样的游戏（Tesauro 1992, 1995）。已有了很多理论成果能够对训练样例数量、假设空间大小、和学得假设错误率这三者间的基本关系进行刻画。我们正在开始获取人类和动物学习的原始模型，用以理解它们和计算机的学习算法间的关系（例如，Laird et al. 1986；Anderson 1991；Qin et al. 1992；Chi Bassock 1989；Ahn Brewer 1993）。在过去的十年中无论是应用、算法、理论，还是生物系统的研究都取得了值得注目的进步。机器学习最近的几种应用被归纳在表1-1中。Langley Simon（1995）以及Rumelhart et al.（1994）调查了机器学习的一些其他应用。 表1-1 机器学习的一些成功应用 学习识别人类的讲话 所有最成功的语音识别系统都使用了某种形式的机器学习技术。例如，Sphinx系统（参见Lee 1989）可学习特定讲话者的语音识别策略，从检测到的语音信号中识别出基本的音素（phoneme）和单词。神经网络学习方法（例如Waibel et al. 1989）和隐式马尔夫模型Lee 1989）在语音识别系统中也非常有效，它们可以让系统自动适应不同的讲话者、词汇、麦克风特性和背景噪音等等。类似的技术在很多信号解释课题中有应用潜力。 学习驾驶车辆 机器学习方法已被用于训练计算机控制的车辆，使其在各种类型的道路上正确行驶。例如ALVINN系统（Pomerleau 1989）已经利用它学会的策略独自在高速公路的其他车辆之间奔驰，以70英里的时速共行驶了90英里。类似的技术可能在很多基于传感器的控制问题中得到应用。 学习分类新的天文结构 机器学习方法已经被用于从各种大规模的数据库中发现隐藏的一般规律。例如，决策树学习算法已经被美国国家航空和航天局（NASA）用来分类天体，数据来自第二帕洛马天文台太空调查（Fayyad et al. 1995）。这一系统现在被用于自动分类太空调查中的所有天体，其中包含了3T字节的图像数据。 学习以世界级的水平对弈西洋双陆棋 最成功的博弈类（如西洋双陆棋）计算机程序是基于机器学习算法的。例如，世界最好的西洋双陆棋程序TD-Gammon（Tesauro 1992, 1995）是通过一百万次以上的和自己对弈来学习其策略的。现在它的水平能与人类的世界冠军相当。类似的技术被应用于许多实际问题，其中需要高效地搜索庞大的搜索空间。 本书针对机器学习这个领域，描述了多种学习范型、算法、理论以及应用。机器学习从本质上是一个多学科的领域。它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成果。表1-2归纳了这些学科中影响机器学习的关键思想。本书的素材基于不同学科的成果，然而读者不必精通每一个学科。来自这些学科的关键理论将使用非专业的词汇讲解，其中不熟悉的术语和概念会在需要时加以介绍。 表 1-2 一些学科和它们对机器学习的影响 人工智能 学习概念的符号表示。作为搜索问题的机器学习。作为提高问题求解能力途径的学习。使用先验的知识和训练数据一起引导学习。 贝叶斯方法 作为计算假设概率的基础的贝叶斯法则。朴素贝叶斯分类器。估计未观测到变量的值的算法。 计算复杂性理论 不同学习任务中固有的复杂性的理论边界，以计算量、训练样例数量、出错数量等衡量。 控制论 为了优化预定目标，学习对各种处理过程进行控制，学习预测被控制的过程的下一个状态。 信息论 熵和信息内容的度量。学习的最小描述长度方法。编码假设时，它的最佳编码和与最佳训练序列的关系。 哲学 “奥坎姆的剃刀”（Occam’s razor）：最简单的假设是最好的。从观察