大数据的昨天、现在和未来.pdf

大数据的昨天、现在和未来 ——大数据引领我们走向数据智能化时代 2012年淘宝双11，大数据技术 2012年11月11 日，中国网民守在电脑前翘首期待“光棍节”来临时，淘宝优化大数据架构 来支撑海量的数据和庞大的并发访问，商家使用了大数据分析来指引自己的促销活动。 2012年双11支付宝交易笔数超过1亿笔，交易额达 191亿元，接近2011年53亿元的4倍，其中天猫 132亿元，淘宝59亿元。商家单日销售额3家超亿元， 12家超过5000万元，更是创造新的记录。 海量数据的瞬间高效存取与计算 总库量: 170亿条记录 更新操作: 1.85亿次 查询: 2.3亿+2.9亿次（scan/get ） 峰值QPS: 9000+5000(scan/get) 3 2013年4月大数据分析帮助破获波士顿爆炸案  2013年4月15 日，美国波士顿马拉松赛比赛终点附 近发生两起爆炸，造成上百人死伤  FBI已经在波士顿马拉松爆炸事件后在案发现场附近 采集了10TB左右的数据 （包括移动基站的电话 通讯记录，附近商店、加油站、报摊的监控录像以及 志愿者提供的图片和影像资料)  4月19 日，案件告破 4 2013年6月美国政府深陷“棱镜门” 爱德华·斯诺顿——”美国有史以来最大的叛徒英雄”，就因为揭露了一个大数据项目 2013年6月，前中情局（CIA ）职员爱德华·斯诺顿将两份绝密资料交给英国《卫报》和美国《华盛顿邮 报》，并告之媒体何时发表。按照设定的计划，6月5 日，英国《卫报》先扔出了第一颗舆论炸弹：美国国 家安全局有一项代号为“棱镜”的秘密项目，要求电信巨头威瑞森公司必须每天上交数百万用户的通话记 录。6月6 日，美国《华盛顿邮报》披露称，过去6年间，美国国家安全局和联邦调查局通过进入微软、谷 歌、苹果、雅虎等九大网络巨头的服务器，监控美国公民的电子邮件、聊天记录、视频及照片等秘密资料。 美国及全球舆论随之哗然 美国情报机构一直在九家美国互联网公司中进行数据挖掘工作，从音视频、图片、邮件、文档以及连接信息 中分析个人的联系方式与行动。监控的类型有10类：信息电邮，即时消息，视频，照片，存储数据，语音 聊天，文件传输，视频会议，登录时间，社交网络资料的细节，其中包括两个秘密监视项目，一是监视、监 听民众电话的通话记录，二是监视民众的网络活动。 美国政府称通过这种“大数据”筛查来寻找涉嫌参与恐怖主义活动的人员。 这项代号为“棱镜”(PRISM ) 的高度机密行动此前从未对外公开。美国国家安全局与联邦调查局参与了 该项目。与政府机构合作的九家互联网公司分别是：微软、雅虎、谷歌、Facebook、PalTalk、美国在 线、Skype、YouTube 、苹果。这九家公司对此完全知情。 《华盛顿邮报》获得的文件显示，美国总统 的日常简报内容部分来源于此项目，该工具被称作是获得此类信息的最全面方式。一份文件指出，“国 家安全局的报告越来越依赖‘棱镜’项目。该项目是其原始材料的主要来源。 引渡？政治避难？………….仍在香港的爱德华·斯诺顿最后的结局将会怎样？ 5 目录 1. 大数据概述 2. 大数据相关技术与智慧城市应用 3. 大数据产业发展概况 4. 大数据生态系统和商业模式 5. 大数据的核心和挑战 6. 大数据的典型行业应用案例 大数据是新经济时代的重要资源 数据已经成为一种新的经济资产类别，就像货币或黄金一样。 —— 世界经济论坛2012 全球90% 的数据都是在过去两年中生成的。 —— 《福布斯》 7 大数据时代已经到来 在web