机器学习的那些事.docxVIP

/index.html首?页/readroom.html阅览室/weekstar.html馆友/my360doc.aspx我的图书馆javascript:void(0)登录/register.aspx?refer=80注册科学网—[转载]机器学习的那些事收藏人：/userhome/7673502michae10-20?|?阅：1759??转：19???|/home.php?mod=spaceuid=449420do=blogid=646200来源?|??/content/13/1020/18/7673502_322833764.shtml分享??【原题】/~pedrod/papers/cacm12.pdfA Few Useful Things to Know About Machine Learning【译题】机器学习的那些事【作者】/~pedrod/Pedro Domingos【译者】刘知远【说明】译文载于《中国计算机学会通讯》 第?8?卷 第?11?期?2012?年?11?月 ，本文译自Communications of the ACM 2012年第10期的“A Few Useful Things to Know About Machine Learning”一文。关键词：机器学习?机器学习系统自动地从数据中学习程序。与手工编程相比，这非常吸引人。在过去的20年中，机器学习已经迅速地在计算机科学等领域普及。机器学习被用于网络搜索、垃圾邮件过滤、推荐系统、广告投放、信用评价、欺诈检测、股票交易和药物设计等应用。麦肯锡全球研究院（the McKinsey Global Institute）最近一份报告指出，机器学习（又称数据挖掘或者预测分析）将驱动下一轮创新【15】。现在已经有几本优秀的机器学习教材书可以供感兴趣的研究者和实践者使用（例如米切尔（Mitchell）和维滕（Witten）等人的教材【16,24】）。但是，成功使用机器学习所应掌握的大量“民间知识”并没有出现在这些教材中。因此，很多机器学习项目浪费了大量时间，甚深入了解所需的“民间知识”可推进机器学习的应用。至最终也没有得到理想的结果。其实这些“民间知识”非常容易理解。本文的目的就是介绍这些知识。?机器学习有许多不同的类型，但为了展示方便，本文将主要介绍其中最常用的类型：分类。但是，本文所探讨的问题适用于所有的机器学习类型。一个分类器（classifier）是一个系统，系统输入是一个包括若干离散或连续的特征值（feature values）的向量，系统输出是一个离散值，代表分类的类别（class）。例如，一个垃圾邮件过滤器会将邮件信息分类到“是垃圾邮件”和“不是垃圾邮件”两个类别中。它的输入可以是一个布尔向量?x=(x1,...,xj,...,xd)?，其中如果词典中的第?j?个词出现在该邮件中，则?xj=1，否则?xj=0?。一个学习器将一个训练集（training set）样例?(xi,yi)?作为输入，其中?xi=(xi,1,...,xi,d)?是观察到的输入，yi?是相应的输出，学习器的输出是一个分类器。对学习器的检验就是判断它输出的分类器是否能够对将来的输入样例?xt?输出正确的?yt（例如，垃圾邮件过滤器是否能够将训练时没有见过的邮件信息正确分类）。学习=表示?+?评价+?优化?假设有一个应用，你认为机器学习有可能在其中发挥作用。那么，你面临的第一个问题是各种机器学习算法令人眼花缭乱。应挑选使用哪一个？现在有成千上万的机器学习算法，每年还有成百上千的新算法发表出来。免迷失在这么多算法中的关键是，要认识到这些算法都是由三个部分组成的，分别是：表示（Representation）　一个分类器必须用计算机可以处理的某种形式语言来表示。反过来讲，为学习器选择一种表示，就意味选择一个特定的分类器集合。学习器可能学出的分类器只能在这个集合中。这个集合被称为学习器的假设空间（hypothesis space）。如果某个分类器不在该空间中，它就不可能被该学习器学到。与此相关的一个问题是如何表示输入，即使用哪些特征，本文稍后介绍。评价（Evaluation）　我们需要一个评价函数（亦称为目标函数或打分函数）来判断分类器的优劣。机器学习算法内部使用的评价函数和我们希望分类器进行优化的外部评价函数有所不同。这是为了便于优化，接下来会讨论。优化（Optimization）?最后，我们需要一个搜索方法，能够在假设空间中找到评价函数得分最高的那个分类器。优化技术的选择对学习器效率至关重要；而当评价函数有多个最优结果时，优化技术也有助于从中选择。初学者通常会采用现成的优化方法，之后再用定制专门的优化方法来替代。表?1?展示了三个组成部分常见的例子。例如，对一