《第9课 常见的数据处理过程》精品课件.pptxVIP

第9课常见的数据处理过程河北大学版2024七年级全一册

问题情景在准备“一带一路”主题报告过程中我们收集了大量的相关资料，这些资料有些需要合并对比，有些存在不完整、不一致、重复等问题。面对这样的数据表格，如何将其整理成符合需要的数据呢？

问题情景

01有效处理数据的方法

有效处理数据的方法数据处理是数据分析过程中的关键环节，直接影响到分析建模的效率为了确保数据的准确性和完整性，我们需要收集庞杂的数据，并对数据进行整理和清洗。为了更好地组织和理解数据，我们需要对数据进行分类和合并这可能涉及按照一定规则进行分组、合并或排序。此外，为了进行后续的数据分析，我们还需要进行数据转换和计算。

有效处理数据的方法数据处理过程可以大致分为数据合并、数据清洗、数据变换、数据标准化四个基本步骤。数据合并能将数据进行简单归类，为分析数据创建好数据分类集；数据清洗可以将数据中的缺陷、错误数据等问题处理掉，最大限度地提高数据分析结果的准确度；数据变换可以将数据加工成建模时需要的形式，为数据建模做准备。通常数据标准化和数据变换作为同一步骤执行。

有效处理数据的方法知识拓展数据分析的结果可以应用在哪些领域？商业和市场营销：可以了解消费者行为、市场趋势和竞争对手情况，从而制定更有效的营销策略、优化产品定位和提升销售业绩。金融服务：可以利用数据分析来进行风险评估、欺诈检测、客户信用评级等，帮助管理风险并提供更好的服务。医疗保健：可以利用数据分析来改善患者治疗方案、预测疾病传播趋势、优化资源配置等，提高医疗服务质量。

有效处理数据的方法知识拓展数据分析的结果可以应用在哪些领域？政府与公共服务：政府部门可以利用数据分析来改善城市规划、交通管理、社会福利发放等公共服务领域，提高政府效率和民生福祉。物流与供应链管理：企业可以通过数据分析优化物流运输路线、库存管理和供应链协调，降低成本并提高效率。环境保护：通过数据分析监测空气质量、水质污染情况等环境指标，制定环境保护政策并采取相应措施。

有效处理数据的方法

02数据处理的基本方法

数据处理的基本方法深度融入“一带一路”倡议已经成为各地谋篇布局的“重头戏”，各地参与“一带一路”建设的积极性和主动性显著提升。图2-16是2017年我国四大区域与共建“一带一路”国家贸易额及占本区域对外贸易的比重，在整理这部分数据时，需要将两组数据按照区域进行合并，我们应该如何操作呢？图2-162017年四大区域与共建“一带一路”国家贸易额及占本区域对外贸易的比重数据来源：国家信息中心“一带一路”大数据中心《“一带一路”大数据报告(2018)》，商务印书馆2018年。

数据处理的基本方法1.合并数据集在数据处理过程中，经常会对数据进行合并。如图2-16中的两组数据首先要进行合并。可以实现合并的工具很多，上一课我们用的电子表格工具可以继续使用。操作提示：数据获取可能来自不同的渠道，或者不同角度，需要进行合并处理。如图2-17所示，将两个表格放在一个工作表中。

数据处理的基本方法根据第一个数据表的“区域”序列，将数据进行合并。可以复制粘贴，或者在单元格中输入内容，如图2-18所示。图2-18合并数据图2-17选择数据

数据处理的基本方法2.数据清洗处理数据缺失值、删除重复数据和修正异常值是数据清洗的三个主要表现方面。想要在数据清洗方面做得更好，需要具备严谨的态度和所探究领域全面、系统的知识，也需要在数据探索的道路上不断积累成功的经验和失败的教训。

数据处理的基本方法“一带一路”大数据指数中,“海上丝路”贸易指数由宁波航运交易所开发编制，数据来源于海关月度进出口贸易数据，由出口贸易指数、进口贸易指数、进出口贸易指数构成，并从总体贸易指数、区域贸易指数、特类贸易指数等不同方面衡量中国对外经贸发展水平，反映中国对外贸易发展变化趋势。请观察表2-3，你发现了什么问题？表2-3“海上丝路”贸易指数情况数据来源:中国一带一路网。

数据处理的基本方法（1）数据缺失值的检测。数据缺失是指数据中某个或某些特征的值是不完整的，这些值称为缺失值。造成数据缺失的原因很多，可能是由于疏忽或遗漏无意造成的，也可能是某些数据特征根本不存在等。在很多数据应用场景中都会碰到数据缺失的情况。

数据处理的基本方法（2）处理重复数据。由于数据分布、数据共享等原因，在数据的采集和处理过程中，会产生大量的重复数据，增加存储成本。重复数据包括记录重复、特征重复两种类型。记录重复是指对数据进行检测，存在多行数据，其中存在一个或多个特征的值完全相同的情况。特征重复是指数据中存在一个或多个行/列名称不同但数据完全相同的情况，如表2-3所列。对重复数据的有效检