《统计分析软件：使用R与Python》 课件 第8章- R 语言大数据分析.pptx

;R语言大数据分析;R将所有的对象都存储在虚拟内存中。

当分析大数据集时，这种设计会降低程序运行速度，有时还会产生跟内存相关的错误。;8.1效率编程;向量化运算是R的特点之一。避免使用for这样的显式循环语句，最大化地实现R计算过程的向量化，R的计算速度绝对不容鄙视。;优先使用base包提供的命令;可以通过Rcpp、RcppEigen、RcppArmadillo进行R与C++混合编程，用C++分配内存或计算。;apply族函数;apply函数;a-matrix(1:12,c(3,4))

a

????[,1][,2][,3][,4]

[1,]???1???4???7??10

[2,]???2???5???8??11

[3,]???3???6???9??12

apply(a,1,sum)

[1]222630

apply(a,2,sum)

[1]?6152433

apply(a,1,function(x)sum(x)+2)

[1]242832

;a-matrix(1:12,c(3,4))

a

????[,1][,2][,3][,4]

[1,]???1???4???7??10

[2,]???2???5???8??11

[3,]???3???6???9??12

apply(a,1,function(x)x^2)

????[,1][,2][,3]

[1,]???1???4???9

[2,]??16??25??36

[3,]??49??64??81

[4,]?100?121?144

;8.2内存管理;在windows平台下，memory.size()则报告内存中所有对象的总大小(MB为单位).

memory.size()

#[1]473.4

使用函数memory.limit()获取或设置系统上的内存限制

memory.limit()

memory.limit(size=1080);内存清理;8.3R并行计算;怎么破？并行计算！

;8.3R并行计算;parallel包简介

;parallel包简介

;parallel包简介

;并行并不一定快;并行并不一定快;并行并不一定快;foreach软件包;节省了时间;“令人尴尬的平行”;并行运行代码;并行实现;并行基础设施;HPC注意事项;使用并行化包

;自带并行功能的软件包;8.4R高效读取大数据;在内存外存储数据;dplyr包连接数据库;R语言大数据分析