数据挖掘面试题：异常值识别与聚类分析方法.pdfVIP

Data-Mining试题

2011Alibaba数据分析师（实习）试题解析

一、异常值是指什么？请列举1种识别连续型变量异常值的方法？

异常值（Outlier）是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数

理统计里一般是指一组观测值中与平均值的偏差超过两倍差的测定值。

Grubbs’test（是以FrankE.Grubbs命名的），又叫umnormedresidualtest，

是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。

未知总体差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检

验法、检验法、偏度检验法。

二、什么是聚类分析？聚类算法有哪几种？请选择一种详细描述其计算原理和步骤。

聚类分析(clusteranalysis)是一组将研究对象分为相对同质的群组(clusters)的统计分

析技术。聚类分析也叫分类分析(classificationanalysis)或数值分类(numerical

taxonomy)。聚类与分类的不同在于，聚类所要求划分的类是未知的。

聚类分析计算方法主要有：层次的方法（hierarchicalmethod）、划分方法

（partitioningmethod）、基于密度的方法（density-basedmethod）、基于网格的方

法（grid-basedmethod）、基于模型的方法（model-basedmethod）等。其中，前两种

算法是利用统计学定义的距离进行度量。

k-means算法的工作过程说明如下：首先从n个数据对象任意选择k个对象作为初始聚

类；而对于所剩下其它对象，则根据它们与这些聚类的相似度（距离），分别将

它们分配给与其最相似的（聚类所代表的）聚类；然后再计算每个所获新聚类的聚类

（该聚类中所有对象的均值）；不断重复这一过程直到测度函数开始收敛为止。

一般都采用均方差作为测度函数.k个聚类具有以下特点：各聚类本身尽可能的紧凑，

而各聚类之间尽可能的分开。

其流程如下：

（1）从n个数据对象任意选择k个对象作为初始聚类；

（2）根据每个聚类对象的均值（对象），计算每个对象与这些对象的距离；并

根据最小距离重新对相应对象进行划分；

（3）重新计算每个（有变化）聚类的均值（对象）；

Data-Miningtest

questions

2011AlibabaDataAnalyst(Internship)Examination

QuestionsAnalysis

1.Whatareoutliers?Pleaselistonemethodforidentifyingoutliersincontinuousvariab?

Outliersrefertoindividualvaluesinasamplewhosevaluesdeviatesignificantlyfromtherestoftheobserved

valuesinthesampletowhichtheybelong.Inmathematicalstatistics,itgenerallyreferstoameasuredvaluethat

deviatesfromthemeanvaluebymorethantwostandarddeviationsinasetofobservedvalues.

Grubbs’test(namedafterFrankE.Grubbs),alsocalledumnormedresidualtest,isastatistical

testusedtoidentifyoutliersinunivariatedatasets.Itassumesthatthedatasetcomes