机器学习框架解析1.docx

PAGE 2 机器学习框架解析 数据科学家Abhishek Thakur，在他的 Linkedin 发表了一篇文章?Approaching (Almost) Any Machine Learning Problem，介绍他建立的一个自动的机器学习框架，几乎可以解决任何机器学习问题，项目很快也会发布出来。这篇文章迅速火遍 Kaggle，据说数据科学家 60-70％ 的时间都花在数据清洗和应用模型算法上面，这个框架主要针对算法的应用部分。 什么是 Kaggle？? Kaggle是一个数据科学竞赛的平台，很多公司会发布一些接近真实业务的问题，吸引爱好数据科学的人来一起解决，可以通过这些数据积累经验，提高机器学习的水平。 应用算法解决 Kaggle 问题，一般有以下几个步骤： 第一步：识别问题 第二步：分离数据 第三步：构造提取特征 第四步：组合数据 第五步：分解 第六步：选择特征 第七步：选择算法进行训练 当然，工欲善其事，必先利其器，要先把工具和包都安好。? 最方便的就是安装 Anaconda，这里面包含大部分数据科学所需要的包，直接引入就可以了，常用的包有：? pandas：常用来将数据转化成 dataframe 形式进行操作? scikit-learn：里面有要用到的机器学习算法模型? matplotlib：用来画图? xgboost，keras，tqdm 等。 第一步：识别问题  在这一步先明确这个问题是分类还是回归。通过问题和数据就可以判断出来，数据由 X 和 label 列构成，label 可以一列也可以多列，可以是二进制也可以是实数，当它为二进制时，问题属于分类，当它为实数时，问题属于回归。  第二步：分离数据 为什么需要将数据分成两部分？?  用Training Data来训练模型，用Validation Data来检验这个模型的表现，不然的话，通过各种调节参数，模型可以在训练数据集上面表现的非常出色，但是这可能会是过拟合，过拟合就是太依赖现有的数据了，拟合的效果特别好，但是只适用于训练集，以致于来一个新的数据，就不知道该预测成什么了。所以需要有Validation来验证一下，看这个模型是在那里自娱自乐呢，还是真的表现出色。  在 scikit learn 包里就有工具可以帮你做到这些：?  分类问题用 StrtifiedKFold from sklearn.cross_validation import StratifiedKFold  回归问题用 KFold from sklearn.cross_validation import KFold  第三步：构造特征 这个时候，需要将数据转化成模型需要的形式。数据有三种类型：数字，类别，文字。当数据是类别的形式时，需要将它的每一类提取出来作为单独一列，然后用二进制表示每条记录相应的值。例如：  record 1：性别 女?record 2：性别 女?record 3：性别 男 转化之后就是：  女 男?record 1：1? 0?record 2：1? 0?record 3：0? 1 这个过程 sklearn 也可以帮你做到： from sklearn.preprocessing import LabelEncoder  或者 from sklearn.preprocessing import OneHotEncoder  第四步：组合数据 处理完 Feature 之后，就将它们组合到一起。?  如果数据是稠密的，就可以用 numpy 的 hstack： import numpy as np X = np.hstack((x1, x2, ...))  如果是稀疏的，就用 sparse 的 hstack： from scipy import sparse X = sparse.hstack((x1, x2, ...))  组合之后，就可以应用以下算法模型：? RandomForestClassifier? RandomForestRegressor? ExtraTreesClassifier? ExtraTreesRegressor? XGBClassifier? XGBRegressor  但是不能应用线性模型，线性模型之前需要对数据进行正则化而不是上述预处理。 第五步：分解 这一步是为了进一步优化模型，可以用以下方法：  PCA：Principal components analysis，主成分分析，是一种分析、简化数据集的技术。用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。 from sklearn.decomposition import PCA  对于文字数据，在转化成稀疏矩阵之后，可