1数据分析与软件应用(精品·公开课件).ppt

三、录入 1．使用编码表（code sheet） 2．直接输入数据 3．在调查的同时输入资料 4．使用光学扫描仪 四、数据清理 1．编码幅度检查 四、数据清理 2．列联式检查 第二步，资料分析？ * * 数据预处理 初步知识介绍 数据清洗 数据集成 数据转换 数据消减 噪声数据是指数据中存在着错误、或异常（偏离期望值）的数据； 不完整数据是指感兴趣的属性没有值； 不一致数据则是指数据内涵出现不一致情况（如：作为关键字的同一部门编码出现不同值）。 数据清洗是指消除数据中所存在的噪声以及纠正其不一致的错误； 数据集成是指将来自多个数据源的数据合并到一起构成一个完整的数据集； 数据转换是指将一种格式的数据转换为另一种格式的数据； 数据消减是指通过删除冗余特征或聚类消除多余数据。 数据清洗 遗漏数据处理： 忽略该条记录 手工填补遗漏值 利用缺省值填补遗漏值 利用均值填补遗漏值 利用同类别均值填补遗漏值 利用最可能的值填补遗漏值 统计分析 1. 数据的整理和清扫 2. 数据的初步统计（均值，方差，相关系数） 3. 假设检验（不同类别的数值是否具有一致性） * * QA * 数据分析与处理 数据分析与处理 数据分析与处理 王明芳 南京农业大学工学院 * * 主要内容 Who ？ When ？ How？ What？ 数据分析与处理 Why？ * * 开场白 为什么要学这门课？ 看几个例子 个人：这一个月的钱都花到哪里去了？（谁动了我的钱？） 集体：一个公司的利润是从哪里得来的？ 某支股票的波动受到了哪些影响？ 国家：08年奥运会能带给我们什么？ 2010年上海世博会… … * * 数学建模的例子 大学生数学建模 艾滋病疗法的评价及疗效的预测 同时服用3种药物（zidovudine, lamivudine,indinavir）的300多名病人每隔几周测试的CD4和HIV的浓度。 第1列是病人编号，第2列是测试CD4的时刻（周），第3列是测得的CD4（乘以0.2个/ml），第4列是测试HIV的时刻（周），第5列是测得的HIV（单位不详）。 PtID CD4Date CD4Count RNADate VLoad 23424 0 178 0 5.5 23424 4 228 4 3.9 23424 8 126 8 4.7 23424 25 171 25 4 23424 40 99 40 5 23425 0 14 0 5.3 23425 4 62 4 2.4 23425 9 110 9 3.7 23425 23 122 23 2.6 * * 研究生数学建模的例子 2008-第五届全国研究生数学建模竞赛试题 A题：汶川地震唐家山堰塞湖泄洪问题 B题：城市道路交通信号实时控制问题 C题：货运列车的编组调度问题 D题：中央空调系统节能设计问题 * * 工欲善其事，必先厉其器 教学目的：通过本课程的学习，让学生会应用多种统计分析方法进行数据分析，通过和不同的学科知识相结合，对所考虑具体问题给出合理的推断。 * * 这门课都讲什么？ 问题一 信息、数据、知识的差别是什么？ * * 课程内容 第一讲 数据分析概论 第二讲 SPSS统计软件基本操作? 第三讲 数据文件整理 第四讲 统计分析概述 第五讲 均值比较分析 * * 第六讲 方差分析 第七讲 数据相关分析 第八讲 时间序列分析 第九讲 多变量分析 * * 课程相关资料 书籍： 应用多元统计分析 朱建平 科学出版社 应用统计 葛新泉 社会科学出版社 基于spss的数据分析 薛薇 中国人民大学出版 统计学实验 冯力 东北财大出版 * * 相关软件 Spss Excel 开始实干！ * * 社会研究的四个阶段 准备阶段 调查阶段 总结阶段 研究阶段 资料分析 定性分析 定量分析 社会统计分析与SPSS应用 第一步，数据从哪里来？ * * 获取数据 初步知识介绍 获取数据的原则： 及时原则 准确原则 全面原则 适用原则 经济原则 * * 获取数据的步骤 1. 分析问题 2. 确定属性变量 3. 数据的缺失处理 4. 数据属性变量的初步筛选 * * 获取数据的手段 网络查询 年鉴 实验数据 问卷调查 * * 收集资料 资料量化 统计分析 资料量化与统计分析 资料量化工作流程图 分类 编码 录入 数据清理 一、分类 1．确定分类标志(变量) 2．分类原则 （１