将ETL任务减少30使用.docxVIP

京东零售数据仓库演进之路 导读：京东零售十年交易额快速增长的背后，不仅是京东零售高速发展的十年，也是数据仓库技术架构演进创新的十年，EB级数据如何进行资产化沉淀和治理？如何支撑业务高速发展、精细化运营、规模化创新的不同阶段？在未来更加复杂多变的环境下，将如何持续演进？ 作者：尹翔 编辑：老鱼 ? 今天的分享主要分为以下三个部分。 第一部分：首先回顾一下大数据在国内的发展历程 第二部分：介绍随着京东的快速发展，大数据在内部经历的几个主要阶段 第三部分：京东零售数仓核心能力和场景实践 ? 01大数据在国内的发展历程 大数据的发展，大体来讲可以分为三个阶段： ? ? 第一个阶段，2010年之前，是企业级数据仓库的时代，也叫EDW，以关系型数据库为主。当时Oracle、Teradata等传统软件厂商占据了大部分市场，基本上提供了数据仓库建设从硬件、软件到实施一体化的解决方案，建设成本非常高，当时主要集中在金融、电信、保险等行业，数据仓库的主要应用场景是提供报表，用于经营决策。 ? 第二个阶段，大概在2010年前后，随着移动互联网的高速发展、数据量暴增，很多互联网公司开始基于Hadoop生态搭建大数据平台，来应对大数据量的处理。数据应用的场景也更加丰富，比如互联网广告、精准营销、供应链管理、abtest等 ? 第三个阶段，大概从5年前，也就是15、16年前后，业界开始提出数据中台的概念，通过