关键DNS MySQL数据库调整建议方案.docVIP

关键DNS MySQL数据库调整建议方案 编写人：胡家惠 日 期：2010-4-28 故障问题分析和解决办法 DNS MySQL数据库近来不太稳定，在主从复制和性能方面都有很多问题，已经明显的影响到数据库系统的安全性、稳定性和查询效率，急需进行一次较大的调整。以下列表对故障现象，故障原因，解决方法等一系列相关问题进行说明： 序号 问题 描述 备注 1 故障现象 （1） 主从复制因为主键重复而失败。 （2） 数据库查询效率降低，吞吐量下降，cpu压力增加。 （3） 锁等待问题严重。 2 故障原因分析 由于dns系统是公司基础性的关键系统，一直系统压力比较大，线上调整难度一直比较大，因此可能多年没有进行完整的数据库系统调整了，因此累积了很多问题，导致近来系统一直不太稳定。分析可能主要有以下的具体原因： （1） 数据库表进行长时间的插入，删除操作，表数据碎片严重，特别是索引碎片严重，导致数据查询效率严重下降。 （2）主要domains，records有部分数据损坏，导致主从复制常出问题，同时查询效率也受影响。 （3）MyiSAM引擎特性再加上数据库的以上问题，导致锁等待问题严重，已经严重的影响到数据库的正常使用。 Dns数据库1主16从，并不是说都存在以上的问题，但可能不同程度的都存在以上问题。 3 解决办法 建议对所有的数据库（1主16从，包括主库）在不中断业务或者很短时间中断业务的情况下，都进行一次大的调整，从版本升级到数据库数据的重新导入： （1） 升级mysql版本： 目前dns数据库主要还是4.0.20版本，已经是四，五年前的版本了，目前比较新的版本5.1.45已经比版本4在稳定性和性能上都有相当的提升，可以借这次大调整的机会，把版本升上来，这样又可以以后多年不用再动它了。 （2） 重新导入数据 通过重新导入数据，可以彻底解决数据损坏，表空间碎片，索引碎片等问题，可以使数据库的稳定性和性能直接得到恢复和进一步提升。改步骤是解决问题的关键。 （3） 修改存储引擎为innodb。 由于dns系统平时都有相当数量的数据更新，因此用innodb引擎代替myisam引擎能有效解决锁等待的问题和相关的性能问题。 4， 调整方法和对业务的影响分析 通过采用逐步调整，监控，稳步推开的办法，可以基本做到不对线上业务的运行造成影响或很少影响。Dns目前是1主16从，可以对从库逐台进行调整，调整一台上线一台，先调整一台，待稳定性和性能观察没有问题后，再稳步推广到其它台。 5， 风险分析和避免办法 分析有可能有以下的风险： 从库升级到5.1.45，与主库版本差别太大，导致出现主从问题。 预防办法： 新版本的mysql接上主库复制后，及时观察，如果发现同步有问题，立即关闭复制功能。 在数据库服务器直接进行业务切换时， 可能对业务有瞬时的影响。 预防办法： 把业务在数据库服务器上完成切换，可能会对业务有3秒左右的影响，是不可避免的，可以通过在晚上实施，减少影响程度。 在升级主库时，可能最少会有2分钟左右的更新数据丢失。 预防方法： 通过制定周密的操作步骤，之前进行测试并熟练这些操作步骤，来减少调整的时间，但是估计最少还是需要2分钟才能完成。可以通过在晚上实施，减少数据丢失的时间。 有一定的风险，但是比较小，通过制定严密的操作步骤和流程，可以减少到最小，并做到风险可控 6， 回退办法 本次调整是通过在备用服务器上先完成，不会破坏现场，因此如果复制或业务切换后有问题，可以关闭复制功能或马上回切，实现业务及时回退。 7， 调整预期效果 通过本次调整，可以全面解决目前存在的问题： （1），查询效率提高，cpu压力下降，吞吐量进一步提高。 （2），主从复制得到稳定。 （3），锁问题消失。 调整方法步骤 通过以下步骤完成调整，可以基本做到对线上业务没有影响或有极少影响。 步骤 主要操作 详细描述 备注 1 在备用机上恢复数据，导出为sql文件 准备备用机。 安装mysql4.0.20。 修复数据库表。 导出为sql文件。 2， 在备用机上安装新版本mysql5.1.45 安装新版本mysql。 导入sql文件数据。 3， 配置新版本数据库与主库的同步关系 配置与主库的同步关系。 从库上打开同步，观察稳定性。 持续观察3天，看没有有问题。 4， 切换业务到新增加的备用服务器 切换业务到新加的备用服务器。 持续观察稳定性和性能状况，观察2天时间。 5， 在切走服务的服务器上完成安装新版本mysql5.1.45