数据处理方法与依据.pptVIP

数据处理的方法与工具 吕士钦 太原理工大学 1 概述 近几年，数学建模竞赛的规模越来越大,水平越来越高；赛题难度也越来越大，对学生数据处理能力要求也越来越高，最困难的有两个方面： （1）无数据建模问题； （2）海量数据问题。 无数据建模问题 例如： （1）2010B：2010年上海世博会影响力的定量评估； （2）2008B：高等教育学费标准探讨； 往往为综合评价类模型，赛题来自于实际问题，开放程度比较高，需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。 无数据建模问题 数据收集手段与方法： （1）权威机构或相关部门发布； （2）通过搜索引擎在Internet搜索； （3）通过问卷、实验等自主采集； 例如： 公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的，山西省欲采购一批公交车，请问应将车门高度设计成多高比较合适？ 无数据建模问题 问题的关键在于获取山西省成年男子的身高情况，我们优先考虑的方法是（1）（2），在无法通过前两种方法获取的情况下，可以通过（3）获得。显然取样，进而可以获得山西成年男子身高X的样本均值和样本方差，剩下的就是求解一个简单的概率问题而已： P(Xh)=99% 海量数据建模问题 2000A：DNA序列分类； 2000B：钢管订购和运输； 2001A：血管的三维重建； 2001B：公交车调度； 2002B：彩票中的数学； 2003A：SARS的传播； 2004A：奥运会临时超市网点设计； 海量数据建模问题 2004B：电力市场的输电阻塞管理； 2005A：长江水质的评价和预测； 2005B：DVD在线租赁； 2006A：出版社的资源配置； 2006B：艾滋病疗法的评价及疗效的预测…… 尤其是： 2011年夏令营：测井曲线自动分层问题（10M） 海量数据建模问题 显然大批量数据是很难手工处理的，需要我们借助于计算机以及一些数据处理软件来完成，需要掌握基本的计算机使用与编程能力。 实在无法完成大批量数据处理的情况下，随机截取典型性数据也不失为一种合理的解决办法。 海量数据建模问题 数学建模中常用软件： World MATLAB Mathematica Lindo Execl SPSS CC++ Lingo 海量数据建模问题 软件学习的关键： （1）数据的读入； （2）异常数据处理； （3）数据规范化与归一化； （4）常见问题与软件功能的对应。 （5）绘图与可视化输出。 （1）数据的读入 数据的读入： a)复制、粘贴； b)功能函数。 Matlab中textread（）: a=textread(data.txt,%*s%*s%f%*s,headerlines,3,delimiter, ) headerlines是文件头有多少行delimiter就是词跟词之间的分隔符。%s是字符串的意思，%f是浮点数的意思而在它们中间加上*，表示跳过这个词。%*s%*s的意思就是跳过前两个词。 （1）数据的读入 Matlab中imread（）: 该函数用于读取图片文件中的数据。 filename = e.bmp; imgRgb = imread(filename); % 读入一幅彩色图像 　　 imshow(imgRgb); % 显示彩色图像 Matlab中xlsread（）: 该函数用于读取Execl文件中的数据。 （1）数据的读入 Lingo中@file（）: 该函数用于文本文件的读入。 Lingo中@TEXT（）： 该函数输出数据（文本文件）。 Lingo中@OLE（） 该函数与电子表格软件（如EXCEL）连接； Lingo中@ODBC（） 该函数与数据库连接。 （1）数据的读入 @FILE和@TEXT：文本文件输入输出 MODEL: SETS: MYSET / @FILE(‘myfile.txt’) / : @FILE(‘myfile.txt’); ENDSETS MIN = @SUM( MYSET( I): SHIP( I) * COST( I)); @FOR( MYSET( I): [CON1] SHIP( I) NEED( I); [CON2] SHIP( I) SUPPLY( I)); DATA: COST