基于SAS软件编程的微观数据质量核查——思路实现过程及结果呈现.PDF

基于SAS软件编程的微观数据质量核查 ——思路、实现过程及结果呈现 东北财经大学统计学院 孙玉环 江西•南昌 2017年5 月26 日 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 基本内容 ➢ 对微观数据进行质量核查的前提 ➢ 验收数据 ➢ 梳理分析及核查思路 ➢ 构建待核查逻辑关系应注意的问题 ➢ 核查结果呈现 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 对微观数据进行质量核查的前提 ➢ 顺手的编程实现的统计分析软件（比如SAS，R等） ➢ 严谨的逻辑思辨能力 ➢ 对实际数据背景的理解（学习相关文件资料） ➢ 对待核查问题的敏感度 应用SAS系统参与数据质量核查的优势 SAS系统是全球领先的商业智能软件和数据处理及统计领域 的国际标准软件 ➢ 具备完备的数据存取与数据管理功能 ➢ 具有高效、灵活处理海量数据的能力 ➢ 可以实现各种复杂的数据分析过程 ➢ 编程语言严谨 ➢ 可以实时显示程序执行的过程及结果 ➢ 可重复验证分析与输出结果 ➢ SAS程序可重复利用及共享 SAS编程的技术需求 ➢ 能够综合运用各种SAS编程过程、语句、选项 ➢ 能够灵活运用各种SAS编程技巧 ➢ 熟悉项目调查问卷的内容 ➢ 熟悉项目数据库的架构 ➢ 准确理解数据质量核查的任务需求 ➢ 具有创新性的编程思路 很多数据管理任务没有常规的分析程序模块支持，也没有 可以借鉴的处理规范，往往需要依赖分析人员对任务要求 的清晰把握，通过编程来灵活实现。 编写SAS程序的基本原则 ➢ 方法准确，编程思路清晰 ➢ 运行速度高效 ➢ 灵活运用宏和array数组语句简化重复性的文本 和过程 ➢ 程序易于阅读和理解 ➢ 输出结果和呈现方式友好 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 财政部驻大连市财政监察专员办事处核查案例 ➢大连市“4050”灵活就业人员社保补贴数据 分析及核查情况 ➢大连市公益岗补贴数据分析及核查情况 ➢大连海关报关报检数据分析及核查情况 ➢毕业生求职补贴数据分析及核查情况 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 验收数据 ➢ 检查数据库的内容是否完整 • 该提供的数据是否已经全部提供 • 关于各个变量的必要说明 ➢ 检查数据库中具体信息是否有误 • 比如字符型数值、缺失值、乱码等等 ➢ 熟悉实际数据背景和确认核查要求 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 梳理数据分析及核查的思路 ➢ 剖析数据库全部信息中可能存在的逻辑关系 ➢ 列出简单分析框架 •可分为描述和汇总部分、核查部分 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 构建待核查逻辑关系应注意的问题 ➢ 设置核查条件时，应为委托人预留充分的发挥空间 ➢ 基于分析过程中发现的问题，进一步补充核查内容 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 核查结果呈现 ➢ 条理清晰 • 核查结果的规范命名 • 核查结果的层次清晰、表述准确 ➢ 方便委托人应用核查结果 • 尽可能输出为EXCEL或PDF格式 ➢ 方便委托人的理解和使用 • 增加值标签、变量名 • 必要时，需加注释 基于SAS软件编程的微观数据质量核查：思路、实现过程及结果呈现 核查结果呈现 ➢ 其他注意 • 字符型数值（比如身份证号码）转换为