0 数据分析概述(最新修正版）.ppt

* 概率统计 描述性分析 参数估计 假设检验 方差分析 回归分析 典型相关分析 主成分分析 典型相关分析 聚类分析 判别分析 多元统计的理论基础 多元数据的统计推断 变量间的相互关系 简化数据结构(降维问题) 分类与判别(归类问题) 本课程体系 * * 数据分析应用领域 1.教育学 7.服装工业 2.医学 8.经济学 3.气象学 9.农业 4.环境科学 10.社会科学 5.考古地质 11.文学 6.生物学 12.其他 基因鉴定 种群分类 成绩预测 分类排名 诊断病例 药物研究 天气预报 灾情预防 环境监测 污染治理 矿产预测 考古断代 服装设计 型号确定 灌区分类 品种筛选 信用评价 经济决策 青少年 犯罪研究 虚词频数 鉴定作品 交通体育 军事 心理学 * 3.气象学--天气预报雷达图/product/radar/index/procode/JC_RADAR_AZ9531_JB * 4.环境科学--分析污染气体浓度,布局监测点,污染治理. /cysc/ny/gdxw/201301/24/21325056.shtml * * 雾霾地图 * * 5.处理地质观测数据,进行矿产预测、构造解释、工程勘探等. 8. 网上购物，网站评价 * * 10.社会科学--美国总统大选 1936年大选： Alf London F.D.R ? Literary Digest (文摘)送出一千万份问卷(返回240万份),预测London赢. Gallop(盖洛普)只问了5000人说 Roosevelt (罗斯福)会赢. 最后罗斯福和盖洛普都赢了.文摘倒闭了. 2016年大选： 希拉里 特朗普 2016.10.14-20日民调显示，希拉里44%>40%。 2016.11.9日，特获276票，逆袭成功当任第45任总统。 * 特朗普当选是对大数据技术的严峻考验 * 大数据巫师： Nate Silver 内特·希尔瓦 预测 特朗普失败 获党内提名可能性2% 希拉里获胜 在67.3%情况下 原因 沉默的大多数胜利 特观点代表中和下层人 民利益，没有话语权， 被网络忽视的人群 人心难测 大数据预测不到人心， 看到的是表面现象而已 * * 主成分分析 大学排名：敏感问题。如何理解不同机构不同结果呢？ 学生成绩综合评价 公司信用评价：如何根据财务和商业资料来判断一个公司的信用等级呢？ 聚类分析与判别分析 东部和西部概念比较笼统，如何选择指标来把各省/市/县进行分类？ DNA鉴定/蝴蝶的分类 确定红楼梦前四十和后四十回是否曹雪芹一人写？ 其他应用举例 * * 相关分析 高中成绩和大学成绩是否密切相关？地震与油价上涨有关？ 水质污染和那些因素有关？如何确定重金属污染源？ 回归分析 电影票房影响因素有哪些？ 客户流失分析 如何设计调查问卷，收集数据，调查大学生喜欢的手机品牌? 2 课程体系及应用 * * 社会经济统计 数理统计 政治算术 国势学派 最早流派之一。创始人德国康令(H.Conring 1606-81)和阿享瓦尔(G.Achenwall 1719—72).采用文字记述形式，把重要事项系统整理罗列(报表). 创始人格朗特(J.Graunt 1620—74)和威廉.配第(W.Petty 1623-87)。主张以数字、重量和尺度来说话，用图表形式概括数字资料. 创始人比利时凯特勒(L.A.J.Quetelet 1796-74),产生19世纪中，把概率论引进统计学,为统计数量分析奠定数理基础(数学统计学院). 代表人恩格尔(1821-96)和梅尔(1841-1925).19世纪后兴起德国,融会国势和政治算术学派观点,把政府统计和社会调查融合起来,形成社会经济统计学,影响较大.(经济管理学院). 3 统计学的发展与其他学科关系 统计学的产生:17世纪中叶，英国威廉配第《政治算术》问世. * * 3 统计学的发展 历史上著名的统计学家 Jacob Bernoulli (伯努利)(1654-1705) Edmond Halley (哈雷) (1656-1742) De Moivre (棣莫弗) (1667-1754) Thomas Bayes (贝叶斯) (1702-1761) Leonhard Euler (欧拉) (1707-1783) Pierre Simon Laplace (拉普拉斯) (1749-1827) Adrien Marie Legendre (勒让德) (1752-1833) Thomas R