云计算、大数据与智慧城市建设讲课.ppt

大数据生态:软件是引擎 大数据的应用不仅仅是精准营销 通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景 消费行业 金融服务 食品安全 医疗卫生 军事 交通环保 电子商务 气象 管理大数据“易”,理解大数据“难” 目前大数据管理多从架构和并行等方面考虑，解决高并发数据存取的性能要求及数据存储的横向扩展，但对非结构化数据的内容理解仍缺乏实质性的突破和进展，这是实现大数据资源化、知识化、普适化的核心. 非结构化海量信息的智能化处理：自然语言理解、多媒体内容理解、机器学习等. 大数据相关技术 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 分析技术 大数据技术 数据采集：ETL工具(数据提取、转换和加载) 数据存取：关系数据库；NoSQL(非关系型数据库)；SQL等 基础架构支持：云存储；分布式文件系统 （Distributed File System）等 计算结果展现：云计算；标签云；关系图等 大数据相关技术 存储 结构化数据： ? 海量数据的查询、统计、更新等操作效率低 非结构化数据 ? 图片、视频、word、pdf、ppt等文件存储 ? 不利于检索、查询和存储 半结构化数据 ? 转换为结构化存储 ? 按照非结构化存储 存储问题解决方案 在CAP理论指导下数据库技术适当“退化” ? NoSQL技术： HDFS, HBASE, OceanBase, MongoDB等 大数据相关技术 计算 解决方案 因结构变化为导致计算模式变更 需求模式变化带来的计算碰到瓶颈 Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4） ? 麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、 大数据带来的影响 3/13/2012 22 制造业、以及涉及个人位置服务等领域都将带来可观的价值 40% GDP 来源于麦肯锡全球研究院 ? 政府等公共职能管理 大数据带来的影响 o o o o o 重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业 园、物联网产业园从政绩工程改造成智慧工程 在安防领域，应用大数据技术，提高应急处置能力和安全防范能力 在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的 服务，比如医疗、卫生、教育等部门 解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但 受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析 政府投入将形成示范效应，大大推动大数据的发展 3/13/2012 24 ? 大数据赋予我们洞察未来的能力 大数据带来的机遇 o o o 马云成功预测 2008 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国 采购在下 滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间 从询盘上推断 出世界贸易发生变化了。” 通常而言, 买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站 统计数据中,就是查询点击的数量和购买点击的数量会保持一个相对的数值, 综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为 模型的准确性。因此在这个案例中,询盘数据的下降,自然导致买盘的下降 。 3/13/2012 25 大数据带来的影响——刀刃的另一面 ? 更多的隐私、安全性问题 o o o o 多少密码和账号是因为“社交网络”流出去的？ 2011年4月索尼的系统漏洞导致7700万用户资料失窃 2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息 2011年CSDN密码泄露事件 3/13/2012 26 1. 云计算概述 2. 什么是大数据 3. 智慧城市建设思路 讲解大纲 智慧城市、信息消费 如何利用运营商的资源优势，整合分散的智慧应用？ 根据政府推进信息消费的政策指引，如何建立由运营商投资建设，由政府指导各类社会单元购买服务的运营模式？？ 投资哪里来？投资渐进式？ 面对机遇如何应对和准备？ 城市公共信息、市民服务信息、个人社会信息转化为数字化计算资源 智慧城市是基于泛在化的信息网络、智能的感知技术和信息安全基础设施，透明、充分的获取城市管理、行业、公众用户海量数据，为公众提供共享信息，打造智能生活、智能产业、智能管理的城市信息化应用。 网络化-信息共享 智能化-智慧应用 数字化-数字