“大数据”及其在排水领域的应用的思考36.pptxVIP

“大数据”及其在排水领域应用的思考 2015.12 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？ 每个问题都是重要的世界性难题，但美国人解决的方案都用到了。。。 大数据！ 什么是大数据？ Q4：大数据的就是数据多、数据大？ Q5：数据多大算大？ Q6：excel算一算，画画图表算不算大数据？ 什么是大数据？ 定义3：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 --- “大数据”（Big data）研究机构Gartner 定义2：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。---著名咨询机构麦肯锡全球研究所 定义1：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。 ① ① ① ② ② ② ③ ③ ④ 大数据时代的到来 区别一：数据采集变得更容易 通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环 区别二：网络升级，光纤，数据传递变得高效容易 移动2G的理论网速48Kb/s 移动3G的理论网速350Kb/s 移动4G的理论网速12.5M/s 区别三：单位数据存储成本大大降低 大数据时代的到来 大数据时代的到来 区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒 区别四：统计学、应用数学和计算机科学的大发展 A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分析 大数据时代的到来 小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能 庞大的数据库有着小数据库所没有的价值 大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 大数据时代的到来 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的到来 4V 大数据的特征 大数据的价值和潜力 大数据将是下一个社会发展阶段的“石油”和“金矿”。 无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。 关于数据的知识，将成为个人知识结构中的必备要素和基础。 大数据如何解决问题？ 美国交通事故死亡分析报告系统（Fatal Analysis Reporting System）：分析全美所有交通事故发生时间、地点、天气和原因，统计伤亡人员性别和年龄，发现问题并针对性地采取措施。 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ 大数据如何解决问题？ 午夜酒驾是最主要原因，需要首先从严整顿。 发现各州安全带执法方式不同死亡率降低不同，调整执法方式。发现其他更多细节和问题。 死亡人数从1966年的5万人降低到2013年的30057人。 一些结论：18:00~21:00是交通事故的最高发时段；25~34岁的人群居交通事故死亡人数之首；行人总是交通事故的牺牲品；男女因交通事故死亡的比例很稳定，为7:3。 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ 大数据如何解决问题？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ 纽约市探长Jack Maple通过分析全市所有犯罪案件发生的时间和地点，预测未来案件发生的地点，将有限的警力提前布置，在此基础上1994年诞生了CompStat 。 1990年凶杀案224