监督式二元分类机器学习模型设计与实现.pdfVIP

应用探索

监督式二元分类机器学习模型设计与实现

张鋼元钱津杜芳

【摘要】大数据又称为巨量资料，这种数据的规模量巨大到在短时间内无法通过普通常规的方法进行捕捉、管理和处理。

大数据的兴起意味着数据科学的发展与进步，通过设计监督式二元分类机器学习模型，本研究可以对大数据进行分析，从而通

过模型对未来的发展趋势进行预测。本文以Kaggle竞赛平台上Titanic号上乘客存活率预测为实例，进行监督式二元分类机器

学习模型的设计与实现。

【关键词】大数据；机器学习；二元分类；数据分析

引言线性模型为h(x）=wlx,通过解决式(3)的优化问题求解w,

从20世纪50年代初，机器学习进入了热潮时期。直至式（4）为式(3)的约束条件：

今日,AlphaGo的胜利,无人驾驶的成功，模式识别的突破性N(3)

进展，人工智能的飞速发展一次又一次地挑动着大众的神

经。机器学习是一门多领域交叉学科，广泛应用于多个领s.t.y((wx(+b)≥1-,.≥0,i=1,,N(4)

域。通过对预测模型的不断完善与补充，逐渐提高机器学习支持向量分类器可以表示为式（5）：

未来的预测准确性，促进人类科技发展。y=sign(wx)(5)

3.决策树、送代决策树、随机森林

一、监督式机器学习决策树是一种多步骤系统，它将某个模式（x）一步步

机器学习模型分为监督式和非监督式以及半监督式。监归类到某个类别。以二分支决策树为例，从根节点开始搭建

督式学习是实际应用最多的模型，其特指两个变量X、Y分别决策树,在每个节点处需要明确分支的准则,根据此准则，将

作为输入、输出变量，使用某种模型去学习从输入到输出的映输入的训练数据集划分为两部分，分别送到左、右分支，再分

射函数f。研究者希望f函数足够好，以便在新的数据X上可别搭建决策树。除此之外，还需要确定各个节点处停止划分

以预测输出变量Y。这种学习方式就称之为监督式学习[2]。的条件以及树的生长高度。一般将某个节点处的不纯度视为

（一）监督式机器学习任务停止划分的条件，当不纯度达到0时，此节点处停止划分，则

监督式机器学习任务中，训练数据集中同时有目标变量该节点称为叶子节点。

和特征变量，则第n个训练样本可以表示为（α“，y），其中随机森林是由多棵决策树组成的集成学习模型。采用

α为特征变量，为目标变量。存在一个函数h:R“一R满Bootstrap方法，对原训练数据集进行有放回的随机采样，假设

足：y=h（x(）+，其中为噪声。监督式机器学习的第t次采样数目为N(，总共采样T次，对每一次采样得到的

任务是得到函数h的近似函数h,h满足公式(1)：新数据集D训练一棵新决策树g，则随机森林分类器可以

h=argminloss(h(x),y)(1)表示为式(6)所示：

(二)分类器g((x))(6)

G=sign(≥g

在本实验中，只关注二元分类器，不考虑回归模型以及多类

选代决策树也是集成学习模型。不同于随机森林针对T

别分类器。分类任务是指将数据划分为正（positive）和负

个训练集训练T个决策树并加起来得到最终的分类器，迭代

（negative）两种标签。常用的二元分类器包括逻辑回归模型、支

决策树以最小化误差