ITM数据仓库常见的性能问题 - IBM.PDF

ITM数据仓库常见的性能问题 王志红wangzhih@ IBM亚太区CSI L2客户技术支持 © Copyright International Business Machines Corporation 2014. All rights reserved. US Government Users Restricted Rights – Use, duplication or disclosure restricted by GSA ADP Schedule Contract with IBM Corp. 情境(Situation)的处理是Tivoli Enterprise监控服务器（TEMS ）的主要工作。 在中型至大型监控环境中，如何定义情境(Situation)使其施加于TEMS上的负载的最小化是特别 重要的。为了实现这一目标，有没有编写高效情境(Situation)的规则呢？回答这个问题之前， 让我们先来了解ITM环境中对情境(Situation)是如何进行处理的。 检测问题列表 1. 需要收集什么数据，他们将被如何使用? 2. 短期历史数据存放, TEMA 还是 TEMS, 优劣, 及对性能的影响? 3. 是否需要部署多个WPA ？ 4. WPA应部署在何处? 5. 每个WPA可以服务多少Agent? 6. 哪那些变量可以优化数据入库? 7. 数据仓库的性能是否已调优? 预测并控制历史数据的采集量 1. 从建立用例开始。配置历史数据收集之前，为每个属性组建立用例。 2. 仅从需要收集历史数据的系统上收集需要的数据 例如：一个包含1000 个服务器的web服务器农场，仅需从几个服务器上采集历史数据，以便用于进行性能规划，预 测和评估。 例如：仅收集VSIZE50MB 的进程的数据 3. 只处理需要进行聚合的数据 - 标准的TCR 报表和ITPA只使用Hourly and Daily Summarization - 自适应/ 动态 阀值只需要原始数据 - 除非有用例需求，不要聚合大容量，低重复率的数据 4. 确保及时清理不需要的历史数据 5. 管理数据仓库 - DBA不可替代 - 使用负载预测电子表格，并根据需求和环境变化及时更新表格中的数据 - 监控并预警数据仓库的可能问题 数据仓库的负载预测 1. 从IBM ISM Library获得ITM Data Warehouse Load Projects 电子表格 /software/brandcatalog/ismlibrary/details?catalog.label=1TW10TM1Y 2. 估算历史数据采集和入库需要的磁盘空间和网络吞吐量 - 每小时TDW插入语句执行总数 (TDW inserts per hour ) - 每小时TDW插入数据量(MB) (Total TDW MB of data inserts per hour) - TDW 占用的磁盘空间(GB) (Total GB of data in TDW) 3. 估计短期历史数据的磁盘空间要求 4. 发现数据仓库中数据量较大的表 短期历史数据的存放位置 1. TEMA优于TEMS 2. 在选择TEMS作为短期历史数据的存放位置时认真思考对性能的影响。 - 在大规模环境下,几百个agent连接到一个TEMS，历史数据收集过程对性能的影响 - 从单一机器上传大批量数据，对比从多台机器上传小批量数据 - 每个属性组的历史数据，所有agents 写入同一个文件。TEP workspace短期历史数据显示响应时间较慢。 - TEMS磁盘空间需求大，高CPU及内存的使用需求 - 显著降低TEMS管理的agents数量 - 切换到备TEMS时，无法读取存放在主TEMS上的短期历史数据。 WPA部署 1. 通常WPA和数据仓库在同一网段，以获得数据库最佳吞吐量 2. 如果采集历史数据的agent数量大于1500个，部署多个WPA 3. 推荐每个Remote TEMS上部署一个WPA - 如果主RTEMS停止运行，agents切换到备RTEM，agents可通过备RTEM上的WPA上传历史数 据。 - 限制通过一个单一的WPA上传历史数据的agents数量。 WPAs 注册及切换 部署多个WPA 1. 提供更大的可扩展性和更好的性能，以及备份切换 2. 所有的WPA必须配置成直接连接到HUB TEMS，而不是Remote TEMS 3.