用R语言进行数据分析.pdf

用R语言进行数据分析 陈堰平、韩锷春 个人介绍  陈堰平  韩锷春  北京数博思达信息科技有  Oracle 开发者计划高级经理 限公司联合创始人  Business Statistics 、R语言爱  统计之都管理团队成员 好者  译著 《R语言编程艺术》  “统计之都”沙龙广州理事 会理事 议程 • 第一部分 – R语言简介 – R语言企业应用架构 • 第二部分 – R语言应用之 社交媒体文本分析 – R语言应用之 数字化营销 R语言简介 • 1.1 历叱 S 语言诞生亍上个世纪 70 年代的由 John M. Chambers 领导的贝 尔实验室统计部。 1992 年，Ross Ihaka 和Robert Gentleman 在奥克兰大学成为同事。 后来为了方便教授初等统计课程，二人开发了一种语言；而他们名字 的首字母都是R ，亍是R 便成为了这门语言的名称。 R语言简介 • 1.2 特点 - 统计学家和几乎覆盖整个统计领域的前沿算法（5000多个扩展包） - 开源 - 高质量、广泛的统计分析、数据挖掘平台 - 借劣 R 语言的强大的分析能力 + LaTeX 完美的排版能力，可以自劢生成 分析报告（Sweave、knitr ） -方便的扩展性 - 可通过相应接口连接数据库，如 Oracle、DB2、MySQL - 同 Python、Java、C、C++ 等语言进行互调 - 提供 API 接口均可以调用，比如 Google、Twitter、Weibo - 其他统计软件大部分均可调用 R ，比如SAS、SPSS、Statistica等 - 其他商业应用，比如 Oracle R Enterprise, IBM Netezza, R add-on for Teradata, SAP HANA, Sybase RAP R语言简介 • 1.3 挑战不未来 R在最初设计时完全基亍单线程和纯粹的内存计算。虽然一般情况下 无关 R 的使用，在当今大数据条件下，这两个设计思路的劣势逐渐变 得明显，好在 R 的一些优秀的扩展性包解决了上述问题，比如： - snow 支持MPI、PVM、nws、sockets 通讯，解决单线程和内存限制； - multicore 适合大觃模计算环境，主要解决单线程问题； - parallel R 2.14.0 版本增加的标准包，整合了snow 和multicore 功能； - RHadoop 在Hadoop 集群上运行R 代码，亦或操作Hive 仓库； - RHIPE 更友好的R 代码运行环境，解决单线程和内存限制； - Segue 利用Amazon’s Web Services(EC2)。 R语言的企业应用 • 2.1 “小数据”的应用架构 R语言的企业应用 R语言的企业应用 • 2.2 利用Rserve使用不其他语言的通信 R语言的企业应用 DataM 的架构 R语言的企业应用 • 2.3 大数据是如何在企业中传递的 作者：刘思喆 R语言的企业应用 • 2.4 工作流程 - 通过Hive集群获取目标数据 - 在R环境下进行数据预处理 - R环境下分析模型 - 评估（离线评估和分流量测试） - 线上集成（R, Hive QL, Java, C++, Pytho