r数据了解当中的化整为零(split-apply-combine)策略_光环大数据培训.pdfVIP

光环大数据--大数据培训人工智能培训 R 数据分析当中的化整为零（Split-Apply-Combine）策略_光环大数据培训 什么时候我们需要使用到化整为零的策略呢？有以下三种情况： 数据需要分组处理 数据需要按照每行或者每列来处理 数据需要分级处理，和分组很类似，但是分级时需要考虑分级之间的关 系。 化整为零策略有点类似于由 Google 推广的 map-reduce 策略。当然 map-reduce 策略的基础是网格，而这 里的Split-Apply-Combine 的基础完全可以是单机，甚至不支持并行处理的 单机都可以。 然而，化整为零并不是一个很直观的编程过程。最直观的过程是使用 Loop 循环。这里使用一个例子来讲解 一下如何实现化整为零策略。在plyr 包中有数据ozone,它是一个三维矩阵 (24X24X72)，其中最后一维72 是指的6 年12 个月每个月的结果。也就是ozone 是一个包括了连续72 个月 24Ｘ24 的三维矩阵数据。三维分 别是lat,long,time。我们需要由对时间robust linear model 之后的残基 光环大数据 光环大数据--大数据培训人工智能培训 residuals。 library(plyr) # need for dataset ozone library(MASS) # need for function rlm month - ordered(rep(1:12, length=72)) #set time sequence #try one set one - ozone[1,1,] model - rlm(one ~ month - 1); modelCall:rlm(formula = one ~ month - 1)Converged in 9 iterations Coefficients: month1 month2 month3 month4 month5 month6 month7 month8 month9 month10 month11 month12 264.3964 259.2036 255.0000 252.0052 258.5089 265.3387 274.0000 276.6724 277.0000 285.0000 283.6036 273.1964 Degrees of freedom: 72 total; 60 residualScale estimate: 4.45 deseas - resid(model) 现在我们对每一组数据都做相同的处理。首先使用 for loop，这样比较直 观 deseasf - function(value) rlm(value ~ month -1) #the function models - as.list(rep(NA, 24*24)) #prepare the variable dim(models) - c(24, 24) deseas - array(NA, c(24,24,72)) #prepare the variable dimnames(deseas) - dimnames(ozone) for (i in seq_len(24)) { #for loop for first dimension+ for(j in seq_len(24)) { #for loop for second dimension+ mod - deseasf(ozone[i, j, ]) #apply function+ models[[i, j]] - mod #save data+ deseas[i, j, ] - resid(mod) #get residure+ }+ } 接下来我们使用化整为零的策略。因为数据可以分成24X24 块来处理，每一 块都是单独运算，可以并行处