第3讲-机器学习与结构化数据挖掘.pdfVIP

机器学习与结构化数据挖掘

MachineLearningandStructuredDataMining

张华平博士副教授

大数据搜索与挖掘实验室

kevinzhang@

@ICTCLAS张华平博士

2016.11

大数据分析与应用/张华平

纲要

I机器学习与数据挖掘概览

II关联规则挖掘概念与技术

MLDM

III数据分类概念与技术

IV数据聚类概念与技术

大数据分析与应用/张华平

机器学习-大数据时代眼与耳

大数据分析与应用/张华平

机器学习应用-人脸识别

大数据分析与应用/张华平

机器学习应用-行人识别

大数据分析与应用/张华平

机器学习定义-溯源

ArthurSamuel定义的机器学习(1959)：在

不直接针对问题进行编程的情况下，赋予

计算机学习能力的一个研究领域。

Alpaydin（2004）同时提出自己对机器学习

的定义，“机器学习是用数据或以往的经验

，以此优化计算机程序的性能标准。”（

Machinelearningisprogrammingcomputers

tooptimizeaperformancecriterionusing

exampledataorpastexperience.）

DrewConway2004

大数据分析与应用/张华平

机器学习定义-Oxford

大数据分析与应用/张华平

机器学习应用场景-Oxford

大数据分析与应用/张华平

机器学习的典型过程

来源：ZicoKolter，MLSS2014

大数据分析与应用/张华平

机器学习的典型过程-监督方法

大数据分析与应用/张华平

机器学习的典型过程-无监督

大数据分析与应用/张华平

机器学习的典型过程-小结

特征表示

特征抽取

监督学习

无监督学习

分类、聚类、预测

大数据分析与应用/张华平

交叉验证与泛化

交叉验证

10折交叉验证(10-foldcrossvalidation)，将

数据集分成十份，轮流将其中9份做训练1份做测

试，10次的结果的均值作为对算法精度的估计，

一般还需要进行多次10折交叉验证求均值，例如

：10次10折交叉验证，以求更精确一点。

泛化能力

指机器学习算法对新鲜样本的适应能力。学习的

目的是学到隐含在数据对背后的规律，对具有同

一规律的学习集以外的数据，经过训练的算法也

能给出合适的输出，该能力称为泛化能力。

大数据分析与应用/张华平13/60