地质数据处理基础—统计数据的采集与预处理.pptVIP

2 数据预处理 数据预处理的必要性 没有干净的数据不可能获得好的处理结果； 任何数据都是有污染的、有冗余的； 数据一般有多种格式的，要进行统一格式或格式规范化； 空间数据要进行必要的几何(变形)校正； 数据的度量单位要匹配处理； 任何数据都是有误差的，要进行误差处理； 数据总体空间与数据样本空间的一致性(或＝)； 数据读写(IO)与处理软件之间的转换； 数据预处理 数据预处理(data preprocessing)或数据清洗(data scrubbing)或数据清理(data cleaning)或数据净化(data cleansing)是数据处理的第一步。 目的：使数据适合于后续的处理工作，提高数据的准确度、整体性、可用性，有助于提高数据处理的质量。 数据预处理的基本方法 不同类型的数据有不同的预处理方法，不同学科的数据有不同的预处理内容。 如遥感数据，要进行辐射校正、几何校正、系统误差的补偿、随机误差的平滑等等。 对化探数据，要进行完整性检查、数据冗余检查、不同批次或不同仪器之间的数据进行系统误差的处理等等。 对矿石品位数据要进行样品的厚度、长度加权、特高品位的处理等等。 预处理的主要内容 完整性：空间的分布、线距点距的规律性； 合规性：满足规范要求； 冗余与缺失的处理； 系统误差的补偿； 随机误差的平滑； 数据预处理方法 1.对于地质数据，可以作出各种图件进行直观判断： 如做样品空间(采样)分布图，检查样品的缺失和重复；等值线平面图，等等；如果出现样品缺失时，采取线性插值或近邻窗口插值的方法，用手工补全数据，如果样品重复，手工处理(剔除)； 样品空间分布平面图 预处理方法 2.平面等值线图：对一些冗余的数据进行必要的剔除。 预处理方法 3. 统计法：如频数分布图。统计法的理论基础是客观世界中绝大部分的实体属性数据为正态分布。 预处理方法 4. 三维可视化：去除不合理的数据。 3 数据的计量尺度 四种计量尺度 数据的计量尺度 定类尺度 定序尺度 定距尺度 定比尺度 定类尺度(概念要点) 计量层次最低 对事物进行平行的分类 各类别可以指定数字代码表示 使用时必须符合类别穷尽和互斥的要求 数据表现为“类别” 具有=或?的数学特性 定序尺度(概念要点) 对事物分类的同时给出各类别的顺序 比定类尺度精确 未测量出类别之间的准确差值 数据表现为“类别”，但有序 具有或的数学特性 定距尺度(概念要点) 1. 对事物的准确测度 2. 比定序尺度精确 3. 数据表现为“数值” 4. 没有绝对零点 5. 具有 + 或 - 的数学特性 定比尺度 1. 对事物的准确测度 2. 与定距尺度处于同一层次 3. 数据表现为“数值” 4. 有绝对零点 5. 具有 ? 或 ? 的数学特性 四种计量尺度的比较 四种计量尺度的比较 定类尺度 定序尺度 定距尺度 定比尺度 分类（＝，≠ ） 排序（ ， ) 间距（ + ，- ） 比值（ × ，÷） √ √ √ √ √ √ √ √ √ √ 计量尺度 数学特性 “√”表示该尺度所具有的特性 数据类型与统计方法 数据类型与统计方法 定类数据 定序数据 品质数据 数量数据 定距数据 定比数据 参数方法 非参数方法 变量及其类型 变 量 定序变量 离散变量 连续变量 定类变量 数字变量 统计指标及其类型 时期指标 时点指标 统计指标 相对指标 总量指标 平均指标 比例 比率 * * * * * * * * * * * * * * * * * * 地质数据处理基础 第二章 统计数据的采集与预处理 1、地质数据的采集 2、数据的预处理 3、数据的计量尺度 1 数据的采集 以某化探数据的采集为例，步骤： 采样设计(按国家、行业规范); 采样(保证质和量、记录规范、必要的备注)； 加工(防止污染和编号错乱)； 送样化验分析(根据研究目的和研究对象的内在关联性来确定分析项目、选择分析方法、仪器类型)。 遥感数据是常用的地质数据之一，订购数据要选择航天器的类型、波段的特点，产品的级别等等。 * * * * * * * * * * * * * * * * * *