大数据基础概念平台相关.pptx

大数据基础概念与数据平台

什么是大数据？所谓“大数据”(bigdata)指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长”如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)，E(一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。

大数据来源半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。

大数据来源交易数据：ERP、SCM、CRM和web交易程序都是经典的交易处理系统，这些系统通常用SQL数据库来存储高度结构化的数据。互动数据：“互动”指人们或事物相互之间，与企业之间的互动。网站日志、用户点击流、社交互动Feeds，以及UGC用户产生的内容都是典型的互动数据。观测数据：观测数据主要来自物联网，包括观测热量、运动、压力的传感器，以及来自移动设备中RFID和GPS芯片的数据，ATM机甚至飞机引擎都是产生观测数据的物联网中的“物”。

大数据特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”显著的4V特征，或者说，只有具备这些特点的数据，才是大数据。

大数据技术要解决的问题大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。

驱动大数据的关键动力商务1、创新商业模式的机会。2、提高企业竞争力的洞察力。技术1、数据采集和存储呈指数级增长。2、数据的来源无处不在，格式多样。3、传统解决方案在新的需求面前束手无策。财务1、数据分析系统的成本在IT支出中的占比持续增加。2、通用硬件和开源软件持续降低大数据的分析成本。

大数据的应用前景从应用方向通过对大数据的储存、挖掘与分析，大数据在营销、企业管理、数据标准化与情报分析等领域大有作为。从应用行业大数据一方面可以应用于客户服务水平提升及营销方式的改进，另一方面可以助力行业内企业降低成本，提升运营效益，同时还能帮助企业进行商业模式的创新及发现新的市场商机。从对整个社会的价值大数据在智慧城市、智慧交通及灾难预警等方面都有巨大的潜在应用价值。专业机构预测，随着互联网技术的高速发展，云计算、物联网应用的日益丰富，大数据未来发展前景将更为广阔。

大数据如何应用于企业运营

大数据企业运营金字塔大数据企业运营金字塔分为7个层面，包括数据基础平台层、业务运营监控层、用户洞察与体验优化层、精细化运营与营销层、业务市场传播层、业务经营分析层和战略分析层。

数据基础平台层数据基础平台层的目标是把企业的所有用户（客户）数据用唯一的用户ID串起来，包括用户（客户）的画像（如性别、年龄等）和用户行为等，以达到全面的了解用户（客户）的目的。数据基础平台层的搭建有三大关键：（1）确定用户唯一ID。（2）有效的解决数据孤岛问题。解决数据孤岛的问题，需要高层重视并授权给公司级的中立数据部门，企业从上往下，有意识强有力的去整合不同业务部门的数据，解决数据孤岛，打通数据（3）解决数据有效管理和计算的问题我们可以通过技术手段和规范手段把数据管理起来。重点要解决的问题是存在数据仓库里面的数据具体的含义是什么，以及如何高效的存储和计算。通过分布式文件系统、分布式数据库等方法解决高效存储的问题；通过大数据查询分析计算、批处理计算、流式计算和内存计算等计算模式以及大数据计算任务调度系统等方法解决高效计算的问题。

业务运营监控层业务运营监控层主要目的是帮助企业监控业务运营情况的健康度，快速发现问题并定位问题原因。搭建业务运营的关键数据体系，在此基础上开发可视化的数据产品，监控关键数据的异动，并可以定位数据异动的原因，辅助运营决策。业务运营监控层的工作有两大关键：（1）梳理数据体系。数据分析师和业务负责人一起梳理业务的数据体系，尤其是对关键数据如KPI数据进行系统化的拆解和梳理。（2）打造数据异动监控产品。企业需要构建灵活和