? ?
?
? ?
大数据运维的工作职责
?
? ?
?
?
?
?
?
?
?
? ? ?
?
?
?
?
?
一.集群管理大数据需要分布式系统,也就是集群:Hadoop,Hbase,Spark,Kafka,Redis等大数据生态圈组建。
二.故障处理1.商用硬件使用故障是常态。2.区分故障等级,优先处理影响实时性业务的故障。
三.变更管理1.以可控的方式,高效的完成变更工作;2.包括配置管理和发布管理;
四.容量管理1.存储空间,允许链接数等都是容量概念;2.在多租户环境下,容量管理尤其重要;
五.性能调优1.不同组建的性能概念不一样,如kafka注重吞吐量,Hbase注重实用性可用性;2.需要对组建有深刻的理解
六.架构优化1.优化大数据平台架构,支持平台能力和产品的不断迭代;2.类似架构师的工作;复制代码
三.大数据运维所需的能力
复制代码一.DevOpsDevOps(英文Development和Operations的组合)是一组过程,方法和系统的统称,用于促进开发(应用程序/软件工程),技术运营和质量保障(QA)部门之间的沟通,写作与整合。二.硬件,OS,网络,安全的基础知识大数据平台和组建设计范围广,各种都需要懂一点,这些知识出问题的时候不可能问人,因为别人也有自己的工作要做。
三.脚本语言能力Shell,SQL(DDL),Python
您可能关注的文档
- 大厦能耗管理系统的设计与应用.docx
- 大数据处理两套解决方案.docx
- 大数据量同步方案之全量同步改为增量同步解决方案.docx
- 大数据平台安全风险与建设.docx
- 大厦闸机连接访客系统的应用优势.docx
- 大数据背景下的智慧城市建设解决方案-智建社区.docx
- 大数据预处理架构和方法简介.docx
- 大数据预处理之数据清洗.docx
- 大数据运维-大数据平台+海量数据.docx
- 大数据运维-集群-监控-CDH-Docker-K8S.docx
- 《设备控制处处在》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编语文二年级上册句子总复习.pptx
- 《通过反馈知效果》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《我是小小控制员》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 《开关量的真与假》教学课件-2026-2027学年华中科大版(新版)小学信息科技六年级全一册.pptx
- 部编版语文三年级上《礼物》.pptx
- 退货跨班周期维护问题复盘与改进跟踪.docx
- 退货跨班任务分派与班前准备核对单.docx
- 退货跨班资料追溯与责任交接单.docx
- 退货逆向物流结果复核与验收确认记录表.docx
最近下载
- 中联ZT42J-Service-and-Maintenance-Manual-Portuguese维修手册含电器液压原理图.docx
- 2025湖南工商大学湘江实验室招聘研发人员12人笔试备考题库及答案解析.docx VIP
- 2025年初级消防装备维护员资格理论考试题库(含答案).docx
- 香港平安卡(平安咭)考试题目及详细答案.docx
- 12福特福克斯 电路图.pdf VIP
- 2025湖南工商大学湘江实验室招聘研发人员12人备考题库及答案解析.docx VIP
- 苜蓿青贮后RFV降低是一种误解.pdf VIP
- SY∕T 6928-2018 液化天然气接收站运行规程.pdf
- 人教版五年级上册数学用字母表示数练习题总汇.docx VIP
- 红岩概括每章字.doc VIP
原创力文档

文档评论(0)