DCIM平台相关技术概要1.docxVIP

DCIM平台相关技术面对海量数据，DCIM管理系统不能仅依靠少数几台机器的升级(Scale-up，纵向扩展)满足数据量的增长，必须做到横向可扩展(Scale-out)，既满足性能的要求，也满足存储的要求（包括结构性数据、非结构形式、半结构性数据）；由于服务需求的多样性，平台既要支持传感器数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性，大数据的容错性要求在作业(Job)执行过程中，一个参与节点失效不需要重做整个作业。机群节点数的增加会增加节点失效概率，在大规模机群环境下，节点的失效不再是稀有事件。因此在大规模机群环境下，系统不能依赖于硬件来保证容错性，要更多地考虑软件级容错，同时增加系统的可用性。系统的开放性也是十分重要的，各子系统之间数据交换、共享以及服务集成是必不可少的。DCIM平台特性说明高度可伸缩性横向大规模可伸缩，大规模并行处理实时性对数据中心基础设施传感数据流、告警事件的实时处理高性能、低延迟分析快速响应复杂查询与深度分析、实时分析结果高度容错性系统在硬件级、软件级实现容错开放性系统之间可实现数据共享、服务集成可以按如下参考框架来构建DCIM平台的数据处理技术和层级?图10-5 DCIM大数据平台参考架构1.大数据接入子系统可以利用事件驱动的架构(Event-Driven Architecture)支持大型数据中心中各垂直子