数据处理方法.ppt

数 模 讲 座  －－数据处理方法周德强 什么是数据处理？ 数据处理是指用简明而严格的方法把获得的实验数据所代表的事物内在的规律提炼出来，得出结果的加工过程，包括数据记录、数据预处理、描绘曲线，从带有误差的数据中提取参数（参数估计），验证和寻找经验规律，外推实验数据等等。 数据处理基本方法 列表法 数据预处理 作图法 逐差法 最小二乘法 步骤一：列表法 获得数据后的第一项工作就是记录。列表法就是把数据按一定规律列入表中。这是在记录和处理实验数据时最常用的方法，又是其它数据处理方法的基础。列表法的优点是对应关系清楚、简捷，有助于发现实验中的规律。所以在每一个实验中对所测得的数据首先应考虑列表处理。 例1：上海市区社会商品零售总额和全民所有制职工工资总额的数据如下 (1)列表的基本要求： 通常matlab以指令驱动模式工作，即在matlab 窗口下当用户输入单行指令时，matlab 立即处理这条指令，并显示结果，这就是matlab命令行方式。 软件链接1：matlab文件的类型 1. 数据文件.mat mat文件是matlab以标准二进制格式保存的数据文件，可将工作空间中有用的数据变量保存下来。 mat文件的生成和调用是由函数save和load完成的。 指令驱动模式的不足 m文件模式 将matlab语句构成的程序存储成以m为扩展名的文件，然后再执行该程序文件，这种工作模式称为程序文件模式。 2. 程序文件不能在指令窗口下建立，因为指令窗口只允许一次执行一行上的一个或几个语句。 m文件简介 包含matlab语言代码的文件称为m文件，其扩展名为m。 m文件的语法类似于c语言，但又有其自身特点。它只是一个简单的ASCII码文本文件，执行程序时逐行解释运行程序，matlab是解释性的编程语言。  m文件有两类：独立的m文件—称命令文件 可调用m文件—称函数文件 m文件的类型是普通的文本文件，我们可以使用 系统认可的文本文件编辑器来建立m文件。如dos 下的edit，windows的记事本和word等 (2) 函数m文件—需要输入变量，返回输出变量matlab用户可以根据需要编辑自己的m文件，它们可以像库函数一样方便的调用，从而极大地扩展了matlab 的能力。? 对于某一类特殊问题，如创建了许多m函数文件，则可形成新的工具箱。? 这种用matlab语言创建定义新的matlab函数的功能，正体现了matlab语言强大的扩展功能。 （4）函数句柄 函数句柄是matlab6特有的语言结构， 其优点： 方便地实现函数间互相调用 兼容函数加载的所有方式 拓宽子函数包括局部函数的使用范围 提高函数调用的可靠性 减少程序设计中的冗余 提高重复执行的效率 数组、结构数组、细胞型数组结合定义数据 函数句柄的调用和操作可通过函数feval进行函数句柄的调用(1)feval(函数句柄） f_h1=@peaks ; feval(f_h1) (2)feval(函数句柄，参数列表）f_h=@plot; feval(f_h,0:10,0:10)f_h2=@sin; feval(f_h2,0:10)等价于% x=0:10;y=sin(x) 非matlab数据文件的调入 (1)记事本（.txt）文件的调入 方法1：先将相关文件中的非数值数据去掉,存为新的txt文件，再用 Load 文件名(要带上扩展名，否则load视为.m文件，产生错误) 方法2：直接用File菜单下的Import data 操作原始文件，包括字符均可调入(可选)。 (2) excel（.xls）文件的调入 方法1：直接用File菜单下的Import data 操作原始文件，若文件中有非数值数据可先选择将数据粘贴在剪贴板上，再导入。 方法2：xlsread sj3.xls(文件不含有非数值数据) 步骤二：数据预处理 为什么要预处理数据? 为什么要预处理数据? 4.为保证建模的质量与系统分析的正确结果，对收集来的原始数据必须进行数据变换和处理，使其消除量纲和具有可比性。 如何预处理数据? 一般的预处理方法 数据清理、数据集成和变换、数据归约. 数据变换技术 为保证建模的质量与系统分析的正确结果，对收集来的原始数据必须进行数据变换和处理，使其消除量纲和具有可比性。 8)z-score规范化：属性A的值基于A的平均值和标准差规范化，计算 9)小数定标规范化：通过移动属性A的小数点位置进行规范化，计算 例1：上海市区社会商品零售总额和全民所有制职工工资总额的数据如下 data=[78,79,80,81,82,83,84,85,86,87;