大数据时代读后感2014-3-24.pptx

1 《大数据时代》读后分享 2014.03 BIG DATA 2 总目录 第一部分：大数据时代概述………………………………………….…07 第二部分：大数据时代特点及应用………………………………………11 第三部分：大数据时代评价……………………….……………………19 3 什么是大数据 指数型增长的海量数据 海量数据就是大数据吗? 1.概述 大数据是全数据模式，样本=总体；纷繁的数据，越多越好； 大数据不重因果，只求相关；大数据允许不精确 4 数据来源 1. 概述 数据来源 互联网企业：SNS、微博、视频网站、电子商务网站 物联网、移动设备、终端中的商品、个人位置、传感器采集的数据 联通、移动、电信等通信和互联网运营商 天文望远镜拍摄的图像、视频数据、气象学里面的卫星云图数据等 5 大数据相关技术 1. 概述 各种纷繁复杂的数学模型，各种牛奔的软件 分析技术 数据处理：自然语言处理技术 统计和分析：A/B test;topN排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术 数据采集：ETL工具 数据存取：关系数据库；NoSQl;SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 6 大数据本质理解 1. 概述 大数据的核心——预测 7 大数据本质理解 1. 概述 大数据时代强大的预测能力可以做到什么呢？——预测犯罪 预测与惩罚，不是因为“所做”，而是因为“将做”，即使他们事实上并没有犯罪 Eg:美国“预测警务”，通过大数据监控，来决定哪些街道、群体须严密监控，仅仅是因为数据系统显示他们可能犯罪 科幻电影《少数派报告》开场场景：警察“我以哥伦比亚特区预防犯罪科的名义逮捕你，你即将在今天谋杀你的妻子~~” 预测——预测犯罪 8 大数据4V特性 大数据的4V特性 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍（储存大，计算量大） 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义（来源多，格式多） 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）（浪里淘沙却又弥足珍贵） 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效（增长速度快，处理速度要求快） 2. 大数据特点及应用 8 大数据应用—行业 大数据的4V特性 大数据的应用不仅仅是精准营销 通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景 2. 大数据特点及应用 9 2. 大数据特点及应用 大数据应用—典型案例 麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址； 电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务； 零售业沃尔玛通过数据挖掘重塑并优化供应链。 麦当劳门店效果图 淘宝网 苹果专卖店效果图 11 微博为新浪带来巨大价值 马云的判断来自于数据分析 “2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。” 马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。 2. 大数据特点及应用 大数据应用—典型案例 马云通过数据分析，成功避免08年经融危机 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。 12 大数据优点 3. 大数据评价 预测是大数据的核心，借助其强大的数据分析能力，帮助人们做决策： Eg:1、预测机票涨跌情况，帮助顾客省钱； 2、预测流感，提前防控(H1N1大数据预判时间比官方提前半月以上，可快速预防疾病传播)； 3、鉴别潜在犯罪分子等等。 大数据将改变我们生活的某些方面，它为我们的生活创造了前所未有的可量化的维度。 13 大数据隐忧 3. 大数据时代评价 数据本身没错，错的是使