加强数据库的质量控制.ppt

加强数据库的质量控制 汪培山 2009-3-30 数据系统的质量控制，就是在对数据进行采集、录入、传输交换、存储管理、加工处理过程中有效地进行质量控制和管理，确保数据的真实准确、安全可靠。 是进行分析和科学研究的质量保证的前提。 数据库的主要问题和质量控制 上年度数据库的一些问题 数据库质量控制的要求 建议的措施 初步整理核对的方法 主要的问题 数据不完整。 缺失值太多。表现为多种变量的缺失值太多，有的地区几乎所有的重要的变量均不完整。 记录丢失，或者变量丢失。个别数据库，可能主要发生在数据转换时。 数据的错误。 主要的问题 数据的错误。 不合逻辑的错误：例如年龄，应该在35-69岁范围。0岁至500岁。结婚年龄大于年龄；分类变量，除了1 2 3，还有1.5，2.2等；身高，体重异常；性别，有男性，…… 或者数据合乎逻辑，但是不是纳入的范围，例如年龄25岁。 编号和姓名错误，表格之间不匹配。例如，如果只有钼靶结果，则无法应用；或号码重复，由于人数多核对极其麻烦。 变量编码混乱。没有按照编码的要求填写，例如民族，临床检查的结果等。 数据库质量控制的要求 完整性 准确性 标准性 一致性 安全性 数据库质量控制的要求 完整性 数据库的完整和每个记录的内容的完整，不能缺项，尤其是重要的项目。 准确性 保证数据的真实可靠，准确无误。包括数据收集的真实可靠，数据输入的真实可靠，准确无误。 数据库质量控制的要求 标准性 保持原设计的数据库的要求，不可擅自更改和重新创建数据库。 一致性 数据的转换、传输、整理过程中，保证数据的一致，不至于发生改变。 数据库质量控制的要求 安全性 数据库专人管理，未经授权，不可更改任何内容； 数据在流程中不受到非法攻击和计算机病毒的侵袭，保证数据不被破坏、改变； 保证数据的安全，不丢失，及时保证备份； 保证数据库中个人信息的安全性。 建议的措施 表格的完整：表格填写的完整和正确是资料完整的前提，必须保证表格数据收集的完全、准确、真实、可靠。 数据库专人负责：由一位专门的人员负责数据库的管理和质量控制。 双输入：按照要求进行双输入，可以有效地保证数据的正确性。 整理核对：在数据输入过程中和完成后，负责数据库的人员进行检查核对。如果发现问题，就地争取补充完整，例如核对原表格，电话补充资料等。 最后应该提交净化的数据。 初步整理核对的方法 负责管理数据的人员要定期以及在最后完成数据库的时候进行初步的核对和检查，以便及时发现和纠正有些错误。 如何发现异常和不合理的数据？ 排序：对各个变量进行简单地排序，包括升序和降序，发现缺失值和极端数据； 简单的频数分布的描述，发现缺失值、极端数据和不合理的数据； 散点图：两个计量数据之间的相关图，发现合理范围之外的数据。 其它:如抽查，两个表格拼接检查编号错误…… 质量控制要求 完整性：数据库的完整和每个记录的内容的完整。 准确性：保证数据的真实可靠，准确无误。 标准性：保持原设计的数据库的要求，不可擅自更改和重新创建数据库。 一致性：数据的转换、传输、整理过程中，保证数据的一致，不至于发生改变。 安全性：保证数据不被破坏、改变；不丢失，保证备份；保证数据库中个人信息的安全性。 如何达到质量控制要求 科学的态度 + 认真负责的精神 * * * * * *