大数据团队分工与二次开发学习笔记.pdfVIP

大公司里，大数据团队一般来说有专业的分工：

（1）数据平台团队：技术最最强悍的团队，每个人的技术都是很牛的，全公司大数据技术

领域最高水准。需要的各种大数据的技术，部署好对应的集群，、运维和管理。日

常主要是大量的读源码，仔细的读源码。源码优化、troubhooting。

（2）数据应用团队：会围绕基础的平台和集群，开发一系列的大数据工具链平台，ETL开

发平台、作业调度平台、数据同步平台、数据平台、日志平台、BI可视化平台、数

据分析平台、数据治理平台、决策分析支撑平台、用户行为分析平台、实时数据仓库平台、

实时分析平台

（3）数据仓库团队：专门基于数据应用团队的各种平台，操作那些平台，数据仓库建

模，分析数据，写ETL（SQL），产出各种数据应用需要的一些报表，通过hive/spark调度一

大堆的作业，跑出来的结果放到mysql，es，kylin

（4）数据挖掘团队：AI，，机器学习、深度学习，用一些大数据技术，跑一些机

器学习的算法，针对公司各种线上的业务，用机器学习产出的结果来支撑线上业务，个性化

推荐、智能搜