■刘思喆：R在大规模数据整理及自动化报告方面的应用.pdf

用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave R 在大规模数据整理及 自动化报告方面的应用 刘思喆 China Lottery Online Co.,Ltd 2009 2009.12.05 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 1 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave 提纲 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 2 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave 为什么需要数据整理 ？ 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 3 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave Many users think of R as a statistics system. We prefer to think of it of an environment within which statistical techniques are implemented. 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 4 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave When dealing with large data sets in R 1. 内存 限制 2. 算法问题 3. 索引问题 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 5 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave Memory limitations 1. 32 位操作系统上，可利用的最大 内存为4GB 2. 64 位操作系统的内存也是 “有限” 的，并且费用 · · · 3. Moore’s Law 似乎已经达到上限 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 6 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图 自动化报告工具：Sweave 大规模数据整理的商业解决方案 ETL （Extraction，Transformation，Loading） • 专业的ETL 工具 • SQL 编程 • ETL 工具和 SQL 相结合 刘思喆 (C.L.O.) 第二届中国R 语言会议 （北京 ） 7 / 29 用 R 做大规模数据整理 实际应用 ：在线人数的走势图