数据预处理--数据变换(标准化、离散化、分层)、数据归约(AIC准则).pdfVIP

数据预处理--数据变换（标准化、离散化、分层）、数据归约

（AIC准则）

1数据变换

在数据变换中，数据被变换成适应于数据挖掘需求的形式，数据变换策略主要包括以下⼏种。

1．光滑:去掉数据中的噪声，可以通过分箱、回归和聚类等技术实现。

2．属性构造:由给定的属性构造出新属性并添加到数据集中。例如，通过销售额“”和成本“”构造出利润“”，只需要对相应属性数据进⾏简单变

换即可。

3．聚集:对数据进⾏汇总。如，可以通过⽇销售数据，计算⽉和年的销售数据。

4．规范化:把数据单按⽐例缩放，使之落⼊⼀个特定的⼩区间，如-1.0~1.0或0.0~1.0。标唯化是⽐较常⽤的⼀种规范化⽅法。

set.seed(1234)

a-rnorm(5)

b-scale(a)标准化#

b

结果分析：此矩阵为标准化后的数据，attr(,scaled:center)是原数据的均值，attr(,scaled:scale)是原数据的标准差。

5．离散化：数值属性（例如，年龄）的原始值⽤区间标签（例如，0～~10、11~20等）或概念标签（例如，youth、adult、senior）替换。

可以实现将定量数据向定性数据转化，将连续型数据离散化。

离散化多根据数据情况和分析需求的不同采⽤不同的划分⽅式，假设a是⼀组Logistic回归的预测值，是取值在0~1之间的连续性数据，需要

将a转换成取值为0或1的离散型数据。

a-c(0.706,0.751,0.662,0.601,0.231,0.606,0.345)

n-length(a)

la-rep(0,n)

la[which(a0.5)]=1

6.由标称数据产⽣概念分层：属性，如street，可以泛化到较⾼的概念层，如city或country.许多标称属性的概念分层都蕴含在数据库的模式

中，可以在模式定义级⾃动定义。

数据泛化可以理解为数据合并，以城市为例，1表⽰沈阳、2表⽰⼤连、3表⽰盘锦、4表⽰抚顺、5表⽰⼴州、6表⽰深圳、7表⽰珠海、8表

⽰佛⼭，可以通过数据合并，将1、2、3、4合并为辽宁省，5、6、7、8合并为⼴东省。

city-c(6,7,6,2,2,6,2,1,5,7,2,1,1,6,1,3,8,8,1,1)

province-rep(0,20)把#0重复20遍

province[which(city4)]=1

province

2数据归约

数据归约主要是为了压缩数据量，原数据可以⽤来得到数据集的归约表⽰，它接近于保持原数据的完整性，但数据量⽐原数据⼩得多，与⾮

归约数据相⽐，在归约的数据上进⾏挖掘，所需的时间和内存资源更少，挖掘将更有效，并产⽣相同或⼏乎相同的分析结果。常⽤维归约、

数值归约等⽅法实现。

维归约指通过减少属性的⽅式压缩数据量，通过移除不相关的属性，可以提⾼模型效率。维归约的⽅法很多，其中:AIC准则可以通过选择最

优模型来选择属性;LASSO通过⼀定约束条件选择变量;分类树、随机森林通过对分类效果的影响⼤⼩筛选属性;⼩波变换、主成分分析通过把

原数据变换或投影到较⼩的空间来降低维数。

AIC准则是⾚池信息准则的简称，通常⽤来评价模型的复杂度和拟合效果，其计算公式为:

其中L为似然函数，代表模型的精确度，k为参数的数量，意味着模型的准确性。当L越⼤时，模型拟合效果越精确，当k越⼩时，模型越简

洁，因此AIC兼顾了模型的精确度和简洁性，适合⽤来对模型进⾏选择。

使⽤AIC准则进⾏模型变量选择时，AIC最⼩的模型即为最优。

以LASSO为例对其维归约进⾏阐述。

在R中可以使⽤glmnet程序包中的glmnet()函数实现对不同分布数据进⾏LASSO变量选择：

install.packages(glmnet)

library(glmnet)

x-matrix(rnorm(100*20),100,20)⽣#成⾃变量，为20列正态随机数

y-rnorm(100)⽣#成⼀列随机数作为因变量

fit1-glmnet(x,y)⼴义线#性回归，⾃变量未分组的，默认未LASSO

b-coef(fit1,s=0.01)代表#sλ值，随着λ减⼩，约束放宽，筛选的变量越多

b

predict(fit1,newx-x[1:10,],s-c(0.01,0.005))λ分别未#0.01和0.005情况下的预测值

对于LASSO⽅法，随着⼊的减⼩，约束放松，进⼊模型的变量增多，当模型拟合值与惩