4三.数据分析处理教学精品.pptVIP

* * 第五讲 数据分析处理 建立数学模型 解决现实问题 目的 真实世界的背景不容忽视 需要收集、分析背景数据 数据作用于模型的形式： 初期：寻求变量间的关系 中期：模型参数估计 后期：模型检验 §1 数据的收集与整理 各种类型的数据为我们认识事物的内在规律、研 究事物之间的关系、预测事物今后的可能发展等一 系列问题，提供了丰富的材料和科学依据。 如何收集、整理和分析数据， 挖掘有用结果？ 着手建立模型时，关于数据需考虑以下问题： 1. 需要哪些以及何种形式的数据？ 2.如何去获得数据？ 怎样表达数据？ 3. 如何对数据进行整理、分析？ 获取方式 图书馆文件检索 网上资料检索 询问相关部门人员 试验、观察并记录 例1 有人想分析出一所大学开水房拥挤的 原因，并提出解决方案。 例1 开水房拥挤成因分析数据采集 需要什么形式的数据，与建模目的和所选择 的模型的特点有关。 例2 渡口模型数据性质 收集数据并非多多益善 ，要善于剔除冗余数据 用数学模型描述现实问题，模型中参数的估计、模型的求解以及模型的合理性很大程度取决于数据的准确可信。 实验数据中总存在实验误差 在建模工作的各个环节，实验误差都可能造成失之毫厘，谬之千里的失误。 实 验 误 差 随机误差： 系统误差： 过失误差： 由一系列偶然因素引起的一类 不易控制的测量误差。 实验观察过程中服从确定性规 律的误差。 明显歪曲实验结果的误差。 无法避免，可增加试验次数，取算术平均来减小。 不能通过增加实验次数求算术平均值 来消除。但可用其他方法识别、消除。 可以识别、并加以处理。 在实验数据中，三类实验误差常常同时错综复杂的存在着。 控制实验数据的质量 整理实验数据 消除实验误差 重要工作 例3 施肥效果分析 误差的处理方法： 用统计检验方法检验出异常数据； 尽可能寻找产生异常点的技术上或物理上的 原因，作为处理异常值的依据。 根据经验和实际背景知识做出实验数据的检查修正，异常数据的舍弃处理。 §2 经 验 模 型 一.基于数据分析的建模方法 在建立数学模型的过程中，经常需要建立变 量之间的关系，但往往由于对研究对象的内部机 理不甚了解，不能通过合理的假设，或根据物理 定律、原理，经过机理分析法而得到。 可借助于由实验或测量得到的一批离散数据，通过对数据充分观察和分析，获得数据所含信息，揭示变量间的内在联系，并选择适当的数学式对变量间的关系进行拟合，建立经验模型，或者进行数据曲线拟合。 两类变量关系 确定性关系：确定的函数关系。 相关关系：存在相依关系，但未达到 相互确定的程度。 两类数据 一类是已知规律（函数）的测试数 据（在特定时间点或距离上的数据）。 另一类数据呈现随机性，可看成具 有某种概率分布的随机样本值。 1. 数据拟合法（适用于第一类数据） 基本思想： 已知函数 y= f(x) 的一组测试数据 (xi，yi)， (i=1，2，…，n)， 要寻求一个函数ψ(x)，使ψ(x)对上述测试数据 的误差较小，即ψ(xi)≈yi，于是可以用ψ(x)来 近似替代f (x)。 常用的数据拟合方法：一般插值法、最小二乘法、样条函数光顺法等。 针对两种不同类型的数据，有不同的建立模型方法： 插值法的基本思想：寻找 f(x)的近似替代函数φ(x), 在插值节点xi 上满足 φ(xi)=yi， (i=1,2,…，n)， 其余点用φ(x)近似替代f(x )，称φ(x)为f(x)的 插值函数。 最小二乘法基本思想：寻找 f (x)的近似替代函数 φ(x)，使 min. 2. 回归分析方法 对于随机数据进行拟合，用到统计学中的回归分析方法。 二．经验模型的建立 以上两种建模方法都是建立在对数据进行充分分析的基础上。 寻找或选择适当的函数拟合变量之间的关系（函数关系或回归关系）是重要的环节。 一般步骤 1）绘制数据散布图（或连线图）； 2）分析数据散布图（或连线图） ； 3）选择函数关系形式。 通过分析数据散布图可以获得对变量间关系 的感性认识，形成初步的看法，以便于对问题 做进一步的分析。 2）分析数据散布图； 对数据散布图进行分析，可以分析出变量的 关系是： 1）线性的还是非线性的？ 2）有无周期性？ 3）呈现何种变化趋势？变化率如何？ …，等等有用的初步结论。 例2.1 建立一个简洁的函数关系式来描述 某个地