《Stata数据统计分析教程》第三篇 数据清理.pdfVIP

第三部分 数据管理 第 3 章 数据清理 当用 Stata 读取了一个数据集后 ，用户可能忍 住要开始对数据进行分析了。但是，在正式进行 数据分析之前，还有一项重要的工作要做 ：数据清理，因为计算机编程界有个俗语 （ GIGO Garbage In, Garbage Out ），即 “错进，错 出”。准确的数据是以后进行科学分析的基础 ，所以在进行数据分 析之前，确保数据已被清理干净是非常必要的。此外，在用户拿到一个理应经过清理的数据集后 ， 对其进行检查也是很有必要的。 数据分析之前的数据清理是一个漫长而痛苦的过程，是脑力劳动更是体力劳动。一个大型项目 的数据分析可能只需要 3 个月，但是前期的数据清理工作可能会耗时 2 年多。亲身经历过数据清理 的用户会对此有更加真切的理解。所以在数据收集 录入的时候 ，尽量设置好变量之间的逻辑关系， / 并在数据录入时进行限制 ，如 EpiData Entry 建库时就会有逻辑跳转 、取值范围及变量类型的限制 ， 要善加利用。这样 “先苦后甜”，虽然前期麻烦一些，但在数据整理的时候就会轻松很多了。 数据清理是一个过程，它没有终点。主要包括两个部分 ：数据检查 （查找数据中可能的错误 ）， 数据纠正 （确认错误并进行纠正 ）。数据检查很多时候是重复、单调的工作， 需要费多少脑子 ， 尤 比如查看大量的表格 ，试 图发现不合理的异常值。但是有时候数据检查也是很耗脑力的一件事， 其是试 图通过程序对数据进行完整性检查的时候 。数据纠正也是一件非常考验脑力的工作，因为一 留神就会改错数据，修改数据时最好为变量加上注释 （见第 4 章 ），以及时记录对变量的修改 。 鉴于数据清理工作的重复性、枯燥性和易 出错性，建议大家使用 do 文件来完成。do 文件的代 码便于同行评议 、发现错误及重现结果 。此外，do 文件的最大优点就是可以使工作自动化，减少 人为出错的几率 （见第 11 章 ）。 3.1 双次录入数据的一致性检验 在收集研究数据时，虽然计算机辅助调查技术的应用已经越来越流行，但是纸质调查问卷的地 位还是很坚挺 ，因为纸质调查问卷也有自 己的优势。当以纸质问卷收集数据时，就涉及数据录入的 问题。 确保纸质调查问卷的信息和录入后的数据完全一致是一个非常大的挑战 ，因为是人就会犯错 ， 尤其是在做重复性工作的时候 。中间有很多环节会造成数据失真 ，主要包括两大方面：录入员对问 第三部分 数据管理 卷答案的理解（如答题人笔迹潦草 ），数据录入时候的手误 （如错误输入）。为了确保数据质量， 有两大应对措施 ：第一是编码 ，在数据录入前必须有多人对问卷审查后对其编码 ，消除任何影响录 入员录入的不确定因素 ，录入员的工作仅仅是录入，不包括解释数据；第二是双人双次录入，设计 好待录入的空数据集后 （推荐为数据集和变量加上合适的注释 ），数据录入时依照双盲录入原则 ， 由两名录入员进行平行录入，录入完毕还应 由专人进行再次核查 。 数据录入工具推荐使用前一章介绍的 EpiData Entry ，它是一款非常流行的数据录入软件，使用 方便，功能强大，最重要的是免费 ，在医学和其他行业有着非常广泛的用户群体。 简单、 E