传统数仓如何快速转到大数据.docxVIP

第 第 PAGE 1 页 共 NUMPAGES 1 页 传统数仓如何快速转到大数据 　　其实很多小伙伴都是从传统数据仓库转到大数据的。那传统数仓如何快速转到大数据数据呢？ 　　一、数据仓库 　　数据仓库：数据仓库系统的主要应用主要是OLAP（On-LineAnalyticalProcessing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。也就是说，数据仓库汇总有可能有很多维度数据的统计分析结果，取百家之长（各个数据源的数据），成就自己的一方天地（规划各种业务域的模型，指标）。 　　二、传统数仓开发 　　传统的数据仓库用Oracle的居多，多半是单机或者一个双机环境运行。本身硬件，系统都容易形成单点故障。慢慢发展，应该会开始通过存储形成容灾的一个环境。 　　传统的数据开发一般分为3个岗位：数据工程师、ETL工程师、数据仓库架构师，大多数人属于前两者。 　　数据工程师：根据业务人员提交的逻辑来编写“存储过程”，他们能够很轻松的编写上千行的复杂逻辑SQL。在编写SQL多年经验中，掌握了各种关联查询、聚合查询、窗口函数，甚至还可以用SQL自己编写一些Function，最终组合成了存储过程。 　　ETL工程师：传统数据仓库只有在大型企业中一般才会有，比如电信、银行、保险等行业。他们都会采购一些ETL工具，比如Informatica或者和第三方共建ETL工