运营商与大数据.pdf

运营商与大数据 汤人杰 浙江移动信息技术部架构师 目录 第一部分 大数据概述 第二部分 大数据与运营商 第三部分 大数据应用实践 第四部分 大数据架构实践 大数据时代的背景 人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设 备的发展，数据的产生在不断加快，利用数据的方式也推陈出新。 “大数据”实质上 是人类利用数字认识和改造世界所达到的一个新的阶段。 各行各业每时每刻都在生成海量数据 基于大数据的应用正改变着我们的工作和生活 什么是大数据？ “大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段，它具备大 容量、高速度、多样性和高价值四个特点。 大容量 （Volume ） 高速度 （Velocity ） 多样性 （Variety ） 高价值 （Value ） • 数据体量大：对计算和 • 生成速度快：实时性， • 来源多：企业内部、互 • 浪里淘沙却又弥足珍贵， 存储的要求，从TB级别， 必须快速识别和快速响 联网、物联网等 虽然价值密度较低，但 跃升到PB级别 应才能适应业务需求 • 格式多：包括音频、图 是价值点比较高 片等非结构化数据 • 统计表明，人类文明至今获得的全部数据，90%在过去2年内 产生，标志着数字化时代全面来临。而电子商务、社交网络、 传感器等还在源源不断的产生数据 ，预计到2020年，全球数 据规模将会达到今天的44倍。 大数据时代带来的三个理念转变 传统数据时代 大数据时代 1、样本=总体 在大数据时代，可 19 世纪以来，当面临大量数据 高性能数字技术的发展突破了这种限制。与 以分析更多的数据， 时，都依赖于采样分析。但是采 局限在小数据范围相比，使用一切数据为我 甚至可以处理和某 样分析是信息缺乏和信息流通受 们带来了更高的精确性，也让我们看到了一 个特别现象相关的 限制的模拟数据时代的产物。 些以前无法发现的细节——大数据让我们更 所有数据，而不再 清楚地看到了样本无法揭示的细节信息。 依赖于随机采样。 2、容忍混杂性 传统数据处理追求“精确度”， 大数据纷繁多样，优劣掺杂 ，分布广泛。拥 研究数据如此之多， 这种思维方式适用于掌握“小数据 有了大数据， 我们不再需要对一个现象刨 以至于我们不再执 量”的情况，因为需要分析的数据 根究底，只要掌握大体的发展方向即可,适 着于追求精确度。 很少，所以我们必须尽可能精准 当忽略微观层面上的精确度会让我们在宏观 地量化我们的记录。 层面拥有更好的洞察力。 3、因果到相关 寻找因果关系是人类长久以来的