大数据_电子商务发展新趋势解剖.ppt

第二部分 国内外大数据应用现状 第三部分 大数据带来的变革与风险 何谓大数据 → 大数据的4V特征（更普遍意义） Volume 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 Value 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能） Velocity 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 Variety 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 Big Data 大数据 何谓大数据 → 大数据的4V特征（Volume） 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 1PB相当于50%的全美学术研究图书馆藏书信息内容 5EB相当于至今全世界人类所讲过的话语 1ZB如同全世界海滩上的沙子数量总和 1YB相当于7000位人类体内的微细胞总和 一般情况下，大数据是以PB、EB、ZB为单位进行计量的 何谓大数据 → 大数据的4V特征（Velocity） 8 22 54 132 215 327 现在及未来几年内美国的移动网络数据流量增长（PB/月） 源自英国Coda研究咨询公司 大数据的增长速度快 大数据的处理速度快 实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一； 1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的； 何谓大数据 → 大数据的4V特征（Variety） 行业/企业内 数据 互联网数据 物联网数据 大数据 数据来源多 企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。 数据类型多 保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。 关联性强 数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。 何谓大数据 → 大数据的4V特征（Value） 挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息； 价值密度低，是大数据的一个典型特征； 数据价值链 (Data Value Chain) 何谓大数据 → 大数据带来的思维变革 更好 不是因果关系而是相关关系 更多 不是随机样本而是全部数据 更杂 不是精确性而是混杂性 何谓大数据 → 大数据带来的思维变革 Google利用网络大数据预测流感 基于64000场比赛进行全数据相扑比赛的作弊分析 埃齐奥尼的Farecast有10万亿条数据预测机票价格 乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序 马云的判断来自于数据分析 “2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。” 马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。 电影《点球成金》 基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队； 打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功； 布拉德?皮特主演的《点球成金》是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。 没有隐私：它什么都知道 你的什么大数据都知道 旧手机坏了想换新的 是一个爱国的屌丝 女朋友有了一个新手提包 邻居上高中的女儿怀孕了 你两年后可能要买车 喜欢日本爱情动作片 你可能会得高血压 你最近手头不宽裕 特别讨厌某个明星 你在这个世界上留下了 太多的痕迹！！！ 飓风蛋挞 And 啤酒尿布 沃尔玛在上世纪创造的啤酒与尿布的相关性销售是一个营销的经典案例，但是类似的不只有这一个，飓风和啤酒也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。 啤酒和尿布、星期五、男人、小孩 飓风和蛋挞、躲在家里、吃蛋挞 智慧城市-典型的大数据应用集合 云计算、物联网变成实用工程 国内各地制定云计算“十二五”规划 云计算、物联网园区 中国各地制定