“大数据”及其在排水领域的应用的思考.ppt

我们应该采取的行动 3、重视数据共享和发布 2008年奥巴马上任后为创建一个“透明的政府”，促使美国政府创建了Data.gov网站，为大数据敞开了大门。 到2012年7月三周年时， Data.gov数据集已达45万个左右，涵盖172个机构。 英国和印度也有“数据公开”运动。 2001年，普华永道研究结果显示：受益于免费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍、整个亚洲的146倍。 我们应该采取的行动 3、重视数据共享和发布 Data.gov 我们应该采取的行动 3、重视数据共享和发布 首先在内部建立各类数据的标准最小数据集及各类台账（最小数据集是指包含了最重要信息的最小数据集合），以省供排水协会推动省内行业各类台账和数据规范化，并促进行业交流和数据开放交流。 我们应该采取的行动 4、重视人的作用 2010年起，谷歌的首席经济学家范里安（Hal Varian）就一直在多种场合强调，下一个十年，将出现一类新的专业人才：数据科学家。其中一种，正是数据可视化工程师，这种人才既懂得数据分析，又精通构图的艺术，集故事讲述和艺术家的特质于一身，将是我们大数据时代的导航员。 5、重视工具的运用 相关软件 流体数值模拟： Fluent；雨洪模型 数值分析：Matlab； 统计科学：SAS 使用培训 数据科学家或者数据工程师数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。 要注意的问题 大数据是复杂的系统工程，费时费力的，绝不是一蹴而就的； 不盲目崇拜大数据和大数据分析； 大数据不能代替人的创造性（如苹果手机）； 数据保密和个人隐私的保护。 小结 数据是财富，数据帮助我们解决问题； 要重视数据收集和数据质量； 应用数据改进我们的思维方式和决策方式； 人在数据运用中是关键的环节； 大数据不能代替人的创造性活动。 来自《大数据时代》P008； *：可参考2008年9月4日《自然》推出的名为“大数据”的专刊。 * 效果明显的州，警察有权力随时截留车辆，检查司乘人员是否佩戴了安全带，而效果不明显的州，仅仅规定警察只能在以其他理由截停车辆时随便检查。 * 效果明显的州，警察有权力随时截留车辆，检查司乘人员是否佩戴了安全带，而效果不明显的州，仅仅规定警察只能在以其他理由截停车辆时随便检查。 * * * * * * “大数据”及其在排水领域应用的思考 2015.12 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病爆发或控制流感蔓延？ 每个问题都是重要的世界性难题，但美国人解决的方案都用到了。。。 什么是大数据？ Q4：大数据的就是数据多、数据大？ Q5：数据多大算大？ Q6：excel算一算，画画图表算不算大数据？ 什么是大数据？ 大数据时代的到来 区别一：数据采集变得更容易 通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环 区别二：网络升级，光纤，数据传递变得高效容易 移动2G的理论网速48Kb/s 移动3G的理论网速350Kb/s 移动4G的理论网速12.5M/s 区别三：单位数据存储成本大大降低 大数据时代的到来 大数据时代的到来 区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒 区别四：统计学、应用数学和计算机科学的大发展 A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析；社会网络分析；自然语言分析 大数据时代的到来 小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很多问题时有局限性，大数据时代全样本分析变得可能 庞大的数据库有着小数据库所没有的价值 大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要数据足够，就能说明问题。 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 大数据时代的到来 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入