大数据运维的工作职责.docx

? ? ? ? ? 大数据运维的工作职责 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 一.集群管理 大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka,Redis等大数据生态圈组建。 二.故障处理 1.商用硬件使用故障是常态。 2.区分故障等级,优先处理影响实时性业务的故障。 三.变更管理 1.以可控的方式,高效的完成变更工作; 2.包括配置管理和发布管理; 四.容量管理 1.存储空间,允许链接数等都是容量概念; 2.在多租户环境下,容量管理尤其重要; 五.性能调优 1.不同组建的性能概念不一样,如kafka注重吞吐量,Hbase注重实用性可用性; 2.需要对组建有深刻的理解 六.架构优化 1.优化大数据平台架构,支持平台能力和产品的不断迭代; 2.类似架构师的工作; 复制代码 三.大数据运维所需的能力 复制代码 一.DevOps DevOps(英文Development和Operations的组合)是一组过程,方法和系统的统称,用于促进开发(应用程序/软件工程),技术运营和质量保障(QA)部门之间的沟通,写作与整合。 二.硬件,OS,网络,安全的基础知识 大数据平台和组建设计范围广,各种都需要懂一点,这些知识出问题的时候不可能问人,因为别人也有自己的工作要做。 三.脚本语言能力 Shell,SQL(DDL),Python

文档评论(0)

1亿VIP精品文档

相关文档