大数据运维学习之路.docx

? ? ? ? ? 大数据运维学习之路 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 业内有这么一句话说:云计算可能改变了整个传统IT产业的基础架构,而大数据处理,尤其像Hadoop组件这样的技术出现,将是改变IT业务模式的一种技术。另外,很多小伙伴可能还搞不明白云和Hadoop有什么关系,事实上这是两种截然不同的技术。今天我们就来聊一聊大数据运维工程师。 一.Linux发展与学习线路 二.大数据运维的工作职责 一.集群管理 大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka, Redis等大数据生态圈组建。 二.故障处理 1.商用硬件使用故障是常态。 2.区分故障等级,优先处理影响实时性业务的故障。 三.变更管理 1.以可控的方式,高效的完成变更工作; 2.包括配置管理和发布管理; 四.容量管理 1.存储空间,允许链接数等都是容量概念; 2.在多租户环境下,容量管理尤其重要; 五.性能调优 1.不同组建的性能概念不一样,如kafka注重吞吐量,Hbase注重实用性、 可用性; 2.需要对组建有深刻的理解 六.架构优化 1.优化大数据平台架构,支持平台能力和产品的不断迭代; 2.类似架构师的工作; 三.大数据运维所需的能力 一.DevOp

文档评论(0)

1亿VIP精品文档

相关文档