常见的0 数据分析概述.ppt

数据分析 先导课 大数据处理技术 数学 分析 概率论与数理统计 高等 代数 并行课 后续课 数据挖掘技术 Matlab 及应用 数学模型 与实验 课程地位 专业任选课/第4学期/56学时/3.5学分 * 内容及学时安排 数据描述性分析 10 2 3 4 5 6 报告 2+2 7 聚类分析 8 判别分析 8 主成分与典型相关分析 8 回归分析 12 MABLAB基础 8 1 参考资料 * MATLAB软件实现 SAS R SPSS * CDA数据分析师 I级培训教材 经管之家/forum.php?gid=1 统计之都/ 在线课程资源 * 中国大学慕课在线开放课程/course/JSETI-1001754246 腾讯课堂 /course/244016 学堂在线 / 网络教学平台 布置作业提交作业 * 考核方式 考核：平时50%+期末50% 期末成绩：闭卷笔试+上机考试 平时成绩：作业40%+课堂表现20%+课程报告40% 课程作业 实验报告/纸质作业 课堂表现 考勤/课堂提问/随堂测验/上机演示/知识分享 * 课程报告： （1）组队2-3人，调研，选题； （2）收集数据，数据处理； （3）数据建模； （4）提交论文占60分； （5）答辩占40分：10-20分钟，2-3个问题； （6）评分：老师70%+学生30% * 应知应会： 掌握各种方法的原理和应用范围，会建立模型； 用Matlab等软件进行统计分析，熟悉输出结果，进行解释。 建议：“师傅领进门，修行在个人” 。 理论应用并重：理论重点是思路，应用重点是实践 重视练习：做练习加深理解，勤操作熟悉软件 不缺课：内容前后呼应，缺课不利学习 * 数据分析概述 2 课程体系及应用 1 数据分析的概念 3 统计学产生及发展 5 数据的分布 4 常用软件及应用 * 你想过下面的问题吗？ 如何对成绩进行评价？ 比较成绩差异？ 找出特长生？ 各科成绩间关联性？ 某年级抽6名学生5 门课期末成绩 序号 政治 语文 外语 数学 物理 1 99 94 93 100 100 2 99 88 96 99 97 3 100 98 81 96 100 4 93 88 88 99 96 5 100 91 72 96 78 6 75 73 88 97 89 数据分析是以各变量n次观测组成的数据矩阵为依据,依实际问题需要进行分析 数据矩阵 “数据！数据!数据!”、“我不能做无米之炊！”—Sherlock·福尔摩斯 * 1. 数据分析的概念 以数据为依据，以统计方法为理论、计算机及统计软件为工具，挖掘数据统计规律。 * 数据分析研究的过程 确定目标 通过收集-整理-分析数据，提取有用信息并形成结论，发挥数据资料功能和作用。 * 1.2 数据 的来源与 分类 搜集渠道 一手数据 专门调查或试验直接得到 二手数据 媒体、机构发布 间接得到 收集方式 观测数据 不可控制条件下被动收集 试验数据 可控条件下 主动收集 数据维度 时间序列数据—按时间顺序收集的数据，时间维度 横截面数据—同一时间点不同对象的数据，个体维度 * 2 课程体系及应用 大部分学科都涉及数据分析工作，因此数据分析几乎可与任一学科结合起来。 如生物统计(biostatistics)、经济计量学(econometrics)、生物信息(bioinformation)和数据挖掘(Data Mining)的方法主体都是统计。 数据分 析方法 SPSS hadoop spark mahout hifs 聚类 storm mapreduce kafka 大数据分析 分类 数理统计分析 聚类分析 回归分析 相关分析 判别分析 主成分分析 方差分析 多元统计 随机事件 参数估计 数字特征 概率统计 随机变量 * 概率统计 描