[工学]数据分析与处理.ppt

《数据分析与处理》 主讲: 数理与信息工程学院 何国龙 2011年8月8日 数学建模基础选讲 数据导入与导出 从外部文本文件导入数据到MatLab的工作区; 1) File/Import data 2) 利用内置函数 高级IO函数 低级IO函数 load fopen Importdata fclose dlmread fgets textread fgetl strread textscan … … MatLab程序区数据 外部数据文本 外部Excel文件 数据交换示意图 2. 将MatLab的工作区数据写出到外部磁盘文件; 1) save (e.g. save 123.txt test -ascii save 123 test -123.mat) use load to retrieve 2) dlmwrite ref pdf help file 3) fprintf ref out_data.m 3. 从Excel文件导入数据到MatLab工作区 1) import data, 工作区变量 data, textdata 2) 用xlsread调入数据 4. 从MatLab写出数据到Excel文件 xlswrite函数 e.g. [s,t]=xlswrite(filename,var) 从MatLab操作Excel文件 Excel = actxserver(Excel.Application); Excel.Visible = 1; 将Excel作为ACtiveX服务器打开,与MatLab交互, ref VBA e.g. test_Excel.m 数据预处理 1. 数据的平滑处理 smooth函数的使用 smooth_1.m ref: smooth.pdf 对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据进行预处理,以消除量纲和数量级的限制,便于分析. 2. 数据的标准化变换 3. 数据的极差归一化变换 数据的标准化变换 极差归一化变换 经过极差变换,每个元素位于[0,1],列的最大最小元分别变换为1与0 数据拟合 0. 观察数据的散点图,辅助判别数据拟合应采纳的模型 plot_1.m 数据文件:cliamate_data.xls plot_2.m 数据文件:data2009.xls 一元线性回归分析函数regress regress函数可用于多重线性或广义线性回归分析,特别地也适合作一元线性回归分析 Ref: edit regress.m p-重广义线性回归模型 Y的n次独立观察数据 模型设计矩阵X 需要拟合估计的系数向量 误差向量 p-重线性回归模型 最简单的情形:一元线性 多重回归分析 序号 y x1 x2 x3 x4 x5 1 44.6 44 89.5 6.8 62 178 2 45.3 40 75.1 6 62 185 3 54.3 44 85.8 5.2 45 156 4 59.6 42 68.2 4.9 40 166 5 49.9 38 89 5.5 55 178 6 44.8 47 77.5 7 58 176 7 45.7 40 76 7.2 70 176 8 49.1 43 81.2 6.5 64 162 9 39.4 44 81.4 7.9 63 174 10 60.1 38 81.9 5.2 48 170 11 50.5 44 73 6.1 45 168 12 37.4 45 87.7 8.4 56 186 13 44.8 45 66.5 6.7 51 176 假设的关联数据 dchg.xls 一次项多重回归 一次项交叉项二次项多重回归 研究样本或指标之间存在程度不同的相似性（亲疏关系——以样本间距离衡量）。根据一批样本的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，直到把所有的样本（或指标）聚合完毕，这就是分类的基本思想。 在聚类分析中，根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。 聚类分析 常用的样品对距离 Ref: pdist 常用聚类方法 最短距离法(single linkage met