数据清洗项目二健康数据清洗与筛选87课件.pptxVIP

数据清洗

主讲老师：许华

教学目标

掌握数据清洗的概念、方法和工具。

能够运用恰当的方法对健康数据库中的缺失值、异常值等进行预处理，提高数据质量。

培养对数据质量的敏感性和严谨态度。

提高学生解决实际问题的能力。

一、识别和处理异常值

使用箱线图法识别异常值。在SPSS中，单击“Graphs”→“LegacyDialogs”→“Boxplot...”，选择“Simple”→“Summariesofseparatevariables”，将需要分析的变量添加到变量框中，单击“OK”按钮，生成箱线图。观察箱线图中超出上下须的点，即为异常值；还可以使用Z分数法。通过计算每个数据点的Z分数（即该数据点与均值的差除以标准差），一般来说，Z分数的绝对值大于3可以视为异常值。在SPSS中，可以通过“Analyze”→“DescriptiveStatistics”功能，勾选“Z-score”选项，得到每个数据点的Z分数。

（一）识别异常值

一、识别和处理异常值

（二）处理异常值的方法

1.修正异常值：如果发现异常值是由于数据录入错误或测量误差等原因导致的，可以尝试查找原始数据进行更正。例如，发现某位老年人的收缩压为220，经过核实发现是数据录入错误，实际应为120，可及时对其进行更正。

2.剔除异常值：对于无法修正的异常值，如果这些异常值对分析结果的影响较大，可以选择剔除。在SPSS中，可以通过设置筛选条件，将异常值样本排除在分析之外。例如，剔除收缩压大于180的异常值，可以使用“SelectCases”功能，设置条件为“收缩压=180”。

二、识别和处理重复数据

在SPSS中，可以通过“Data”→“IdentifyDuplicateCases”功能来识别重复数据。在弹出的对话框中，选择标识重复个案的依据变量（通常是多个关键变量，如姓名、身份证号等），然后指定输出变量的名称和标签等信息。执行后，会在数据集中新增一个变量，标记出哪些数据行是重复的。

（一）识别重复数据

对于重复数据，如果确定是完全重复的多余数据，可以直接删除。在识别出重复数据后，可以使用“SelectCases”功能，选择非重复的个案进行保留，而剔除重复的个案。

（二）处理重复数据

三、数据转换

（一）对数转换

对于数值型变量，如果其分布呈现右偏态，可以通过对数转换使其更接近正态分布。在SPSS中，单击“Transform”→“ComputeVariable”，在弹出的对话框中，输入新变量名，在“NumericExpression”框中输入“LN(原变量名)”或“LG10(原变量名)”等对数表达式。

（二）标准化转换

对于不同量纲的数值型变量，为了消除量纲的影响，可以进行标准化转换。常用的方法有Z分数标准化，在SPSS中，可以通过“Analyze”→“DescriptiveStatistics”→“DescriptiveStatistics”功能，勾选“Savestandardizedvaluesasvariables”选项，生成标准化后的变量。

四、数据编码

（一）分类变量的编码

对于分类变量（如性别、饮食习惯等），通常需要将其编码为数值型变量，以便进行后续的分析。例如，将性别编码为“0”表示女性，“1”表示男性；将饮食习惯编码为“1”表示偏荤，“2”表示偏素，“3”表示均衡等。在SPSS中，可以通过“Transform”→“RecodeintoDifferentVariables”或“RecodeintoSameVariables”功能来实现分类变量的编码操作。

四、数据编码

（二）日期型变量的编码

对于日期型变量（如收集时间），可以根据分析目的，将其转换为特定的数值型格式。例如，将日期转换为距离某个起始日期的天数等。在SPSS中，可以利用“Transform”→“ComputeVariable”对话框中的各种日期函数来实现日期型变量的编码和转换。

五、健康数据清洗面临的挑战

1.数据的异构性和多源性

健康数据来自多种不同的来源，包括电子病历系统、医疗物联网设备、实验室信息系统、可穿戴设备等，这些数据在结构、格式、语义等方面存在很大差异，使得数据清洗和融合的难度增加。

2.数据量大且复杂

随着医疗信息化的不断发展，健康数据量呈爆炸式增长，且数据类型复杂多样，包括结构化数据、半结构化数据和非结构化数据。对如此庞大和复杂的健康数据进行清洗，需要高效的清洗算法和强大的计算资源支持。

五、健康数据清洗面临的挑战

3.数据的时效性

在一些医疗场景中，如疾病监测、实时医疗决策等，对数据的时效性要求较高。数据清洗过程需要在保证数据质量的前提下，尽可能快速地完成，以满足及时分析和应用的需求。

4.数据隐私和安全

健康数据包含患