- 1、本文档共45页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据生态:软件是引擎 大数据的应用不仅仅是精准营销 通过用户行为分析实现精准营销是大数据的典型应用,但是大数据在各行各业特别是公共服务领域具有广阔的应用前景 消费行业 金融服务 食品安全 医疗卫生 军事 交通环保 电子商务 气象 管理大数据“易”,理解大数据“难” 目前大数据管理多从架构和并行等方面考虑,解决高并发数据存取的性能要求及数据存储的横向扩展,但对非结构化数据的内容理解仍缺乏实质性的突破和进展,这是实现大数据资源化、知识化、普适化的核心. 非结构化海量信息的智能化处理:自然语言理解、多媒体内容理解、机器学习等. 大数据相关技术 数据处理:自然语言处理技术 统计和分析:A/B test; top N排行榜;地域占比;文本情感分析 数据挖掘:关联规则分析;分类;聚类 模型预测:预测模型;机器学习;建模仿真 分析技术 大数据技术 数据采集:ETL工具(数据提取、转换和加载) 数据存取:关系数据库;NoSQL(非关系型数据库);SQL等 基础架构支持:云存储;分布式文件系统 (Distributed File System)等 计算结果展现:云计算;标签云;关系图等 大数据相关技术 存储 结构化数据: ? 海量数据的查询、统计、更新等操作效率低 非结构化数据 ? 图片、视频、word、pdf、ppt等文件存储 ? 不利于检索、查询和存储 半结构化数据 ? 转换为结构化存储 ? 按照非结构化存储 存储问题解决方案 在CAP理论指导下数据库技术适当“退化” ? NoSQL技术: HDFS, HBASE, OceanBase, MongoDB等 大数据相关技术 计算 解决方案 因结构变化为导致计算模式变更 需求模式变化带来的计算碰到瓶颈 Hadoop(MapReduce技术) 流计算(twitter的storm和yahoo!的S4) ? 麦肯锡评估报告中指出大数据在政府公共服务、医疗服务、零售业、 大数据带来的影响 3/13/2012 22 制造业、以及涉及个人位置服务等领域都将带来可观的价值 40% GDP 来源于麦肯锡全球研究院 ? 政府等公共职能管理 大数据带来的影响 o o o o o 重视应用大数据技术,盘活各地云计算中心资产:把原来大规模投资产业 园、物联网产业园从政绩工程改造成智慧工程 在安防领域,应用大数据技术,提高应急处置能力和安全防范能力 在民生领域,应用大数据技术,提升服务能力和运作效率,以及个性化的 服务,比如医疗、卫生、教育等部门 解决在金融,电信领域等中数据分析的问题:一直得到得极大的重视,但 受困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析 政府投入将形成示范效应,大大推动大数据的发展 3/13/2012 24 ? 大数据赋予我们洞察未来的能力 大数据带来的机遇 o o o 马云成功预测 2008 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国 采购在下 滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间 从询盘上推断 出世界贸易发生变化了。” 通常而言, 买家在采购商品前,会比较多家供应商的产品,反映到阿里巴巴网站 统计数据中,就是查询点击的数量和购买点击的数量会保持一个相对的数值, 综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为 模型的准确性。因此在这个案例中,询盘数据的下降,自然导致买盘的下降 。 3/13/2012 25 大数据带来的影响——刀刃的另一面 ? 更多的隐私、安全性问题 o o o o 多少密码和账号是因为“社交网络”流出去的? 2011年4月索尼的系统漏洞导致7700万用户资料失窃 2011年4月,iOS被发现会按照时间顺序记录用户的位置坐标信息 2011年CSDN密码泄露事件 3/13/2012 26 1. 云计算概述 2. 什么是大数据 3. 智慧城市建设思路 讲解大纲 智慧城市、信息消费 如何利用运营商的资源优势,整合分散的智慧应用? 根据政府推进信息消费的政策指引,如何建立由运营商投资建设,由政府指导各类社会单元购买服务的运营模式?? 投资哪里来?投资渐进式? 面对机遇如何应对和准备? 城市公共信息、市民服务信息、个人社会信息转化为数字化计算资源 智慧城市是基于泛在化的信息网络、智能的感知技术和信息安全基础设施,透明、充分的获取城市管理、行业、公众用户海量数据,为公众提供共享信息,打造智能生活、智能产业、智能管理的城市信息化应用。 网络化-信息共享 智能化-智慧应用 数字化-数字
您可能关注的文档
- 氧化还原反应说课稿黎青讲课.ppt
- 氧化还原习题讲课.ppt
- 氧化剂和还原剂讲课.ppt
- 新版ISO9001-2015改版培训讲课.ppt
- 氧化铝厂生产培训1(外来实习生)讲课.ppt
- 氧化铁还原反应_实验的改进讲课.ppt
- 新版轮机英语操作级lesson5Fueloilsystem讲课.ppt
- 月亮的味道讲课.ppt
- 氧化与燃烧(第一课时)讲课.ppt
- 化学方程式的书写复习课稿.ppt
- 吉林省白城市实验高级中学2024-2025学年度高三上学期期中考试语文试卷(含答案).pdf
- 黑龙江省牡丹江市2024-2025学年部编版八年级上学期期中考试历史试卷.pdf
- 江西省部分学校2024-2025学年高一上学期11月期中生物试题(含解析).pdf
- 山东省菏泽市单县2024-2025学年八年级上学期期中历史试题.pdf
- 山东省聊城市东阿县实验中学2024-2025学年八年级上学期10月月考地理试题(含答案).pdf
- 山东省滨州市惠民县2024-2025学年八年级上学期期中考试道德与法治试题.pdf
- 湖南省怀化市麻阳苗族自治县代远学校2024-2025学年七年级上学期期中道德与法治试卷(不含答案).pdf
- 江苏省常州市溧阳市2024-2025学年五年级上学期11月期中英语试题(含答案,无听力原文,无音频).pdf
- 吉林省通化市梅河口市第五中学2024-2025学年高三上学期11月期中地理试题(含答案).pdf
- 天津市部分区2024--2025学年部编版九年级上学期期中历史测试题(含答案).pdf
最近下载
- 肾盂旁囊肿的研究的现状及进展.doc VIP
- 3.1《中国科学技术史序言(节选)》课件-中职高二语文(高教版2024拓展模块上册).pptx
- PCB多层压合工艺PPT课件.ppt
- 第一单元第二节+体验“云上生活”++课件 2024—2025学年川教版(2024)信息科技+七年级上册.pptx VIP
- Garmin佳明Forerunner 165 智能GPS跑步腕表说明书用户手册.pdf
- 工程项目工期关键节点和线路保证措施(模板)18.docx VIP
- 泰康入职测评考试题库答案.pdf
- Ai围棋定式大全(重排彩图).pdf
- 汽车钣喷系列教学课件--钣金件焊接工艺.ppt
- 人力资源有限公司管理制度.docx VIP
文档评论(0)