大数据的来源与价值.ppt

大数据在保险领域的应用 保险领域应用方案——架构 第二十九页，共四十二页。 大数据在保险领域的应用 保险领域应用方案——示例：社交媒体信息交叉验证欺诈行为 交叉 验证 第三十页，共四十二页。 互联网与数据利用 授课人：韩冬梅 第一页，共四十二页。 大数据概述 01 大数据分类（3种划分方式） 02 03 大数据的价值 第二页，共四十二页。 大数据概述——数据量 2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。 ——DNET《数据中心2013：硬件重构与软件定义》年度技术报告 第三页，共四十二页。 大数据概述 01 大数据分类（3种划分方式） 02 03 大数据的价值 第四页，共四十二页。 大数据分类——按产生主体划分 最里层：少量企业应用产生的数据 关系型数据库中的数据 数据仓库中的数据 微博、微信 电子商务在线交易日志数据 呼叫中心评论、留言或者电话投诉等 企业应用的相关评论数据 应用服务器日志 传感器数据（天气、水、智能电网等） 图像和视频（摄像头监控数据等） RFID、二维码或条形码扫描数据 次外层：大量人产生的数据 最外层：巨量机器产生的数据 第五页，共四十二页。 大数据分类——按数据来源划分 通过服务器和数据中心数量，以及各行业数据梳理，大致判断国内2013年一年产生的数据总量以及大致分布，数据主要分布在以下行业： 1、BAT为代表的互联网公司。 2、电信、金融、保险、电力、石化系统。 3、公共安全、医疗、交通领域。 4、气象、教育、地理、政务等。 5、其他，商业销售、制造业、农业、物流和流通等领域。 第六页，共四十二页。 阿里巴巴 目前保存的数据量为近百PB 拥有90%以上的电商数据 交易数据、用户浏览和点击网页数据、购物数据 2013数据总量接近一千个PB 中文网页、百度推广、百度日志、UGC 以70%以上的搜索市场份额坐拥庞大的搜索数据 腾讯 总存储数据量经压缩处理以后在100PB左右 数据量月增10% 大量社交、游戏等领域积累的文本、音频、视频和关系类数据 添加标题 百度 BAT为代表的互联网公司 大数据分类——按数据来源划分 第七页，共四十二页。 电信行业 用户上网记录、通话、信息、地理位置 运营商拥有的数据数量都在10PB以上 年度用户数据增长约数十PB 开户信息数据，银行网点和在线交易数据、自身运营的数据 金融系统每年产生数据达数十PB 保险系统数据量也接近PB级别 电力与石化 仅国家电网采集获得的数据总量就上10个PB级别 石油化工、智能水表等领域每年产生和保存下来的数据量也达到数十PB级别。 金融与保险 电信、金融、保险、电力、石化系统 大数据分类——按数据来源划分 第八页，共四十二页。 公共安全 北京：50万个监控摄像头，每天采集视频数据量约3PB 整个视频监控每年保存下来的数据在数百PB以上 仅广州中山大学医院2013年数据量为1000个TB 整个医疗卫生行业一年能够保存下来的数据就可达到数百PB 交通 航班往返一次能产生数据就达到TB级别 列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。 添加标题 医疗卫生 公共安全、医疗、交通领域 大数据分类——按数据来源划分 第九页，共四十二页。 气象与地理 中国气象局保存的数据约4~5PB，每年约增数百个TB 各种地图和地理位置信息每年约数十PB 北京市政务数据资源网涵盖旅游、教育、交通、医疗等门类，一年上线公布了４００余个数据包 政务数据多为结构化数据 政务与教育 气象、教育、地理、政务等领域 大数据分类——按数据来源划分 第十页，共四十二页。 商业销售、制造业、农业、物流和流通等领域 大数据分类——按数据来源划分 其他传统行业 线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增 行业数据量还处于积累期，整个体量都不算大，多则达到PB级别，少则百TB甚至数十TB级别。 制造业 制造业的存储数据类型： 产品设计数据：以文件为主，非结构化，共享要求较高，保存时间较长。 企业生产环节的业务数据：数据库结构化数据 生产监控数据：数据量非常大 第十一页，共四十二页。 大数据分类——按存储形式划分 大数据不仅仅体现在数据量大，也体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化或半结构化的数据。 第十二页，共四十二页。 大数据分类——按存储形式划分 结构化数据 即行数据，可用二