大数据下的技术运营.doc

大数据下的技术运营----监控系统技术运营团队的由来 在运维更名为技术运营的两年内，我们对这个团队的工作目标产生了新的理解，工作内容也逐渐从传统的维护往DevOps方向转化。技术运营，简单地讲就是利用技术手段，降低资源消耗，提高基础资源的运行效率，提高整个软件生命周期运行的效率。 这意味着对团队内的每个工程师都提出了更高的要求：一方面我们要支持目前的系统运行;同时也要针对目前的业务流程去开发自己的工具，让整个基础资源和能力工具化，把经验和自己对流程的理解变成Web化的工具，提供给程序员使用。 为什么必须自主研发监控系统 目前在TalkingData的Developer除了负责代码的编写，还要负责生产系统自己程序的性能指标提供监控接口，以及生产环境程序bug的处理。Developer能够一定程度的获取生产权限，方便常规的维护和简单故障的处理。这样一来，技术运营的挑战就来了：权限的管理、性能指标的监控、日志的管理以及资源的隔离，都需要有成熟的工具去支撑。目前市面上有很多开源的软件可以实现这样的功能，但是在不同程度上存在各种各样的问题。 以监控为例，开源的监控很多，Zabbix、Nagios、Cacti，都是不错的监控软件，但是首先它们并不能满足大数据场景下的数据存储;其次，如果监控项和主机数量过多，数据查询时会出现速度慢等一系列问题。所以技术运营首先选择在监控上做了全新的设计和开发，新