互联网与大数据.pptx

互联网与大数据 大数据概述 01 大数据分类（3种划分方式） 02 03 大数据的价值 大数据概述——数据量 2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。 ——DNET《数据中心2013：硬件重构与软件定义》年度技术报告 大数据概述 01 大数据分类（3种划分方式） 02 03 大数据的价值 大数据分类——按产生主体划分 次外层：大量人产生的数据 最外层：巨量机器产生的数据 大数据分类——按数据来源划分 通过服务器和数据中心数量，以及各行业数据梳理，大致判断国内2013年一年产生的数据总量以及大致分布，数据主要分布在以下行业： 1、BAT为代表的互联网公司。 2、电信、金融、保险、电力、石化系统。 3、公共安全、医疗、交通领域。 4、气象、教育、地理、政务等。 5、其他，商业销售、制造业、农业、物流和流通等领域。 百度 BAT为代表的互联网公司 大数据分类——按数据来源划分 金融与保险 电信、金融、保险、电力、石化系统 大数据分类——按数据来源划分 医疗卫生 公共安全、医疗、交通领域 大数据分类——按数据来源划分 政务与教育 气象、教育、地理、政务等领域 大数据分类——按数据来源划分 商业销售、制造业、农业、物流和流通等领域 大数据分类——按数据来源划分 制造业 制造业的存储数据类型： 产品设计数据：以文件为主，非结构化，共享要求较高，保存时间较长。 企业生产环节的业务数据：数据库结构化数据 生产监控数据：数据量非常大 大数据分类——按存储形式划分 大数据不仅仅体现在数据量大，也体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化或半结构化的数据。 大数据分类——按存储形式划分 结构化数据 即行数据，可用二维表结构来逻辑表达实现 主要存储在关系型数据库中 先有结构再有数据，结构一般不变 处理起来较方便 大数据分类——按存储形式划分 非结构化数据 相对于结构化数据而言，不方便用数据库二维逻辑表来表现 非纯文本类数据，没有标准格式 包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息 存储在非结构数据库中 非结构化WEB数据库：突破了关系数据库结构定义不易改变和数据定长的限制 大数据分类——按存储形式划分 半结构化数据 介于完全结构化数据和完全无结构的数据之间 格式较为规范，一般都是纯文本数据 包括日志数据、XML、JSON等格式的数据 一般是自描述的，数据的结构和内容混在一起，没有明显的区分 数据模型主要为树和图的形式。 作为国内新锐媒体代表的“新周刊”是新浪微博的第一批受益媒体，他们开通了新浪微博后，截止到2010年11月19日，粉丝数已经达到了878966人，发表微博6488条。 封新城 新周刊 主编、媒体微博交相呼应 截止到2010年11月，封新城的微博粉丝数已接近36万 新周刊微博案例分享 微博话题征集：都市快报通过在新浪微博上进行写给100岁新中国的信，并通过整版选取内容刊登，极富新意 版面整体合作：推出《微生活》栏目，此栏目是都市快报和新浪网合作推出的版面。《微生活》的内容来自新浪微博。《微生活》和读者分享的则是一周微博热议、微博语录、热文微议等精彩内容。 都市快报微博案例分享 微博节省沟通成本， 新闻发布更为便捷， 让团队的协同工作更为快速 南京零距离微博案例分享 厕所没有纸了 怎么办 ？ 谁最先报道了 绵阳地震 ？ 11除70的商的小数点后面的第200位上的 数字是几 ？ 大数据概述 01 大数据分类（3种划分方式） 02 03 大数据的价值 大数据在宏观经济管理领域的应用 IBM日本公司建立了一个经济指标预测系统，它从互联网新闻中搜索出影响制造业的480项经济数据，再计算出PMI预测值，准确度相当高。 印第安纳大学学者利用Google提供的心情分析工具，根据用户近千万条短信、微博留言中预测道琼斯工业指数。准确率高达87%。 淘宝网建立了“淘宝CPI”，它通过采集、编制淘宝网上390个类目的热门商品价格来统计CPI，它比国家统计局公布的CPI还提前半个月预测经济的走势。 大数据在农业领域的应用 Google前雇员创办Climate公司，从美国气象局等数据库中获得几十年的天气数据，将各地的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而能够预测美国任一农场下一年的产量。任何一个农场主去他那里问明年种什么能卖出去、能赚钱，他能告诉你，说错了他保证赔偿，赔偿比保险公司还要高，到现在为止他还没有赔过。 通过手机上农产品“移动支付”数