大数据及其在排水领域应用的思考.pptVIP

我们应该采取的行动 3、重视数据共享和发布 2008年奥巴马上任后为创建一个“透明的政府”，促使美国政府创建了Data.gov网站，为大数据敞开了大门。 到2012年7月三周年时， Data.gov数据集已达45万个左右，涵盖172个机构。 英国和印度也有“数据公开”运动。 2001年，普华永道研究结果显示：受益于免费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍、整个亚洲的146倍。 第三十页，共三十七页。 我们应该采取的行动 3、重视数据共享和发布 Data.gov 第三十一页，共三十七页。 * “大数据”及其在排水领域应用的思考 2015.12 第一页，共三十七页。 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？ 第二页，共三十七页。 每个问题都是重要的世界性难题，但美国人解决的方案都用到了。。。 大数据！ 第三页，共三十七页。 什么是大数据？ Q4：大数据的就是数据多、数据大？ Q5：数据多大算大？ Q6：excel算一算，画画图表算不算大数据？ 第四页，共三十七页。 什么是大数据？ 定义3：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。?--- “大数据”（BIG DATA）研究机构GARTNER 定义2：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。---著名咨询机构麦肯锡全球研究所 定义1：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。 ① ① ① ② ② ② ③ ③ ④ 第五页，共三十七页。 大数据时代的到来 区别一：数据采集变得更容易 通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环 区别二：网络升级，光纤，数据传递变得高效容易 移动2G的理论网速48Kb/s 移动3G的理论网速350Kb/s 移动4G的理论网速12.5M/s 区别三：单位数据存储成本大大降低 第六页，共三十七页。 大数据时代的到来 数据爆炸 第七页，共三十七页。 大数据时代的到来 区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒 区别四：统计学、应用数学和计算机科学的大发展 A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分析 第八页，共三十七页。 大数据时代的到来 小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能 庞大的数据库有着小数据库所没有的价值 大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。 第九页，共三十七页。 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 大数据时代的到来 第十页，共三十七页。 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的到来 第十一页，共三十七页。 4V 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人