R语言tidyverse数据处理流程.docxVIP

R语言tidyverse数据处理流程

一、引言：数据处理的价值困境与tidyverse的解决方案

（一）数据处理在数据分析全流程中的核心地位

在多数数据科学项目中，超过七成的工作时间会被投入到数据导入、清洗、转换等预处理环节，原始数据普遍存在的缺失值、格式不统一、结构混乱等问题如果得不到规范处理，后续的统计分析、模型构建和结论推导都会出现严重偏差，也就是数据分析领域常说的“垃圾进、垃圾出”困境（威克姆等，2017）。在tidyverse生态出现之前，使用者依托R语言基础函数开展数据处理时，往往面临语法逻辑不统一、操作链条断裂的问题：基础函数由不同的维护团队独立开发，参数规则、输入输出格式差异较