常见面试之机器学习算法思想简单梳理.pdf

常见面试之机器学习算法思想简单梳理 投稿人/作者: 新浪微博：tornadomee 发布时间：2013-11-15 23:45:10 投 稿到ChinaKDD 前言： 找工作时（IT 行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择， 不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对 其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以 作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 纵观IT 行业的招聘岗位，机器学习之类的岗位还是挺少的，国内大点的公司里百度，阿里， 腾讯，网易，搜狐，华为（华为的岗位基本都是随机分配，机器学习等岗位基本面向的是博士） 等会有相关职位，另外一些国内的中小型企业和外企也会招一小部分。当然了，其中大部分还是 百度北京要人最多，上百人。阿里的算法岗位很大一部分也是搞机器学习相关的。另外本人有幸 签约了网易杭州研究院的深度学习算法岗位，打算从事机器学习领域至少5 年。非常感谢小易 收留了我！ 下面是本人在找机器学习岗位工作时，总结的常见机器学习算法（主要是一些常规分类器） 大概流程和主要思想，希望对大家找机器学习岗位时有点帮助。实际上在面试过程中，懂这些算 法的基本思想和大概流程是远远不够的，那些面试官往往问的都是一些公司内部业务中的课题， 往往要求你不仅要懂得这些算法的理论过程，而且要非常熟悉怎样使用它，什么场合用它，算法 的优缺点，以及调参经验等等。说白了，就是既要会点理论，也要会点应用，既要有点深度，也 要有点广度，否则运气不好的话很容易就被刷掉，因为每个面试官爱好不同。 朴素贝叶斯： 有以下几个地方需要注意： 1. 如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类 为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。 2. 计算公式如下： 其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是 的计 算方法，而由朴素贝叶斯的前提假设可知， = ，因此一般有两种，一种 是在类别为ci 的那些样本集中，找到wj 出现次数的总和，然后除以该样本的总和；第二种方法 是类别为ci 的那些样本集中，找到wj 出现次数的总和，然后除以该样本中所有特征出现次数的 总和。 3. 如果 中的某一项为0，则其联合概率的乘积也可能为0，即2 中公式的 分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等， 分母应对应初始化为2（这里因为是2 类，所以加2，如果是k 类就需要加k，术语上叫做laplace 光滑）。 朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。 决策树： 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式， 并深入理解它。 信息熵的计算公式如下: 其中的n 代表有n 个分类类别（比如假设是2 类问题，那么n=2）。分别计算这2 类样本 在总样本中出现的概率p1 和p2，这样就可以计算出未选中属性分枝前的信息熵。 现在选中一个属性xi 用来进行分枝，此时分枝规则是：如果xi=vx 的话，将样本分到树的 一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2 个类别，分 别计算这2 个分支的熵H1 和H2,计算出分枝后的总信息熵H’=p1*H1 p2*H2.，则此时的信 息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性 作为本次分枝属性。 决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）； Logistic 回归： Logistic 是用来分类的，是一种线性分类器，需要注意的地方有：