大数据咨询方法论技术白皮书.docx

大数据咨询方法论白皮书 Big Data Consultancy White Book Catalogue 目 录 大数据咨询的时代背景 1 大数据咨询的定义和需求来源 5 大数据咨询的核心特征和挑战 7 大数据咨询的核心方法论 9 大数据咨询工具：360o数据管家 17 奇点云大数据咨询探索与实践 19 PAGE PAGE 1 PAGE PAGE 20 大数据咨询的 时代背景 智能经济成为经济发展的新引擎 数字经济尚方兴未艾，智能经济却已经大步而来。 2019年政府工作报告，正式提出了「智能+」战略：「深化 大数据、人工智能等研发应用。打造工业互联网平台，拓展“智能+”，为制造业转型升级赋能。」 2019年5月，在全球智慧物流峰会上，阿里巴巴CEO张勇也喊出了「数智化」的口号：「未来的物流一定是从数字化到数智化，数智 世界将是我们共同面临的时代。」 人工智能（AI）将成为经济发展新引擎，已经成为全行业的共识。普华永道报告认为，到2030年时，AI对全球经济的贡献将高达15.7万亿美元，这超过了目前中国和印度的经济总量之和；埃森哲分析报告称，2035年，AI将帮助人类经济年增长率翻番；麦肯锡发布《人工智能对全球经济的影响》报告，认为未来10年AI为全球GDP将贡献1.2%增长。 单一业务系统阶段处理分析报表的需求 单一业务系统阶段 处理分析报表的需求 数据中台成为数字化转型的基础设施 解决报表和BI的需求系统对接OLTP和OLAP数据仓库阶段数据中台演进的四个阶段 解决报表和BI的需求 系统对接OLTP和OLAP 数据仓库阶段 第一阶段第二阶段第三阶段第四阶段数据平台阶段数据中台阶段数据库阶段 第一阶段 第二阶段 第三阶段 第四阶段 数据平台阶段 数据中台阶段 数据库阶段 大数据咨询方法论白皮书 大数据咨询方法论白皮书 随着越来越多的企业上云，如何更好地利用云计算、大数据和人工智能的力量就成为了他们探索的主题。要如何通 过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。 「数据中台」，狭义上，就是解决这一系列问题的基础设施。2018年以来，随着阿里巴巴双中台架构的普及，越来 越多的企业把中台视为面向未来的企业进化必经之路，开始寻求数据中台服务公司的帮助。2019年，甚至可以称为 数据中台元年。 数据问题成为数字化转型的关键问题 随着企业把越来越多的业务和流程搬上云，以及使用了新的数字技术进行研发、生产、制造和销售领域的革新，数据问题开始大量暴露出来。 统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力，不能提供实时数据，导致管理的滞后性；数据分析和调研严重滞后于业务进展，不能实时决策…… 数据问题已经成为企业数字化转型的关键问题，数据资产 将成为企业核心的战略资产。只有数据问题被解决，企业才能真正实现数字化转型。 2019年9月，联合国发布了最新的《数字经济报告》，报告认为，数字经济扩张的驱动因素是数字数据和数字平台， 「在收集使用和分析大量数字数据的能力推动下，数字经济继续以极快的速度发展」。 从全人类的角度来看，2015年是数据增长的里程碑。2015 年一年产生的数据量，是人类过去历史上产生的数据量的总和。从2015年之后，人类的数据量进入指数级增长，每 年增长40%-50%。 随着数据量的增长，一个全新的「数据价值链」开始浮现。从数据采集、数据存储到数据治理再到数据应用，数 据生产进入了全新的「数据工业时代」，海量非结构化的数据被结构化，从日志数据到视图声数据，人类开始以全 新的数据视角审视这个世界。 并且，越来越多的数据产品、越来越多的数据生态开始在 这个过程中被创造出来，商业数据、社会数据、政府数据前所未有地交融在一起，为人类创造新的价值。 Expected Expected to Continue Accelerating 2025E: 163 ZB, 36% % Structured/Tagged 2015年之后，人类社会的数据 量每年增长40%-50%。 2020: 47 ZB, 16% 过去历史上产生的数据量的总和。 2015: 12 ZB, 9% 2010: 2 ZB, 9% 2005: 0.1 ZB 2015年一年产生的数据量，是人类 180 160 140 Zetabtytes(ZB)120 Zetabtytes(ZB) 100 80 60 40 20 0 阿里巴巴的启示 数据智能是未来 2007年，阿里巴巴在战略会议上决定阿里未来要成为一家数据公司。但真正在数据上有所建树，却要把这个时间延后到 2009年，阿里云也诞生在这一年。大体上可以把阿里的整个跨越过