Sybase清理海量历史数据..docVIP

Sybase清理海量历史数据 Sybase清理海量历史数据(单张表几亿数据真实环境使用中) ?? ? 之前在试验了bcp,传统的正向delete方法皆不可取的情况下，考虑使用select into 反向做法，把要保留的数据通过select into 法重新创建对象，达到了数据快速进入新表，并对新表进行索引默认值重建，即达到了数据清理，也达到了数据清理后索引不会失效的目的，还腾出了碎片空间。前期采用了静态的处理方式，在由于不同地方部署版本不同导致数据库结构也不完全相同情况下，需要ddlgen方式拿回外网的ddl脚本然后对静态清理程序进行对比修改，非常繁琐，头晕眼花对的，后来考虑到sybase的对象定义信息都保留的系统数据字典中，通过分析数据字典的方式进行对象的动态重构，从而省去了程序对照修改的累事。以下看我实际处理的步骤思路以及具体脚本：1.清理程序基本保证在深夜时间可以清理完毕，但是为了保证第二天海量数据运营级的数据库能够正常运行，所以做到了清理程序支持断点续清，清理未完也不影响第二天应用正常使用的目的。所以额外增加了清理日志表：IF EXISTS (SELECT 1 FROM sysobjects o WHERE ?o.name = dba_delete_history_data ?AND o.type = U)drop table dba_delete_history_datagocreate table dba_delete_history_data (id ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?char(32) ? ? ? ? ? ? ? ? ? ? ? ? not null ?,--流水idtable_name ? ? ? ? ? ? ? ? ? ? ?varchar(100) ? ? ? ? ? ? ? ? ? ? not null ?,--表名start_time ? ? ? ? ? ? ? ? ? ? ?datetime ? ? ? ? ? ? ? ? ? ? ? ? ? ? null ?,--清理开始时间end_time ? ? ? ? ? ? ? ? ? ? ? ?datetime ? ? ? ? ? ? ? ? ? ? ? ? ? ? null ?,--清理结束时间status ? ? ? ? ? ? ? ? ? ? ? ? ?int ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?not null, ? --清理结果状态default_fail_sql ? ? ? ? varchar(7000) ? ? ? ? null ? ? ? ?--默认值加了注释，导致语句过长产生问题)lock datarowsgo??2.单个对象表的清理封装过程up_delete_history_tableif exists (select 1? ? ? ? ? ? from ?sysobjects? ? ? ? ? ? where id = object_id(up_delete_history_table)? ? ? ? ? ? and ? type = P)? ?drop procedure up_delete_history_tablegocreate procedure up_delete_history_table?@objname varchar(100),--对象表名@condition_name varchar(1000),--清理条件@is_bak varchar(1),--清理后是否备份原表@server_lock_scheme varchar(50) --服务的锁级别配置asdeclare @start_time datetime?declare @end_time datetimedeclare @indid int?declare @keys varchar(1024)?declare @msg varchar(1024)declare @create_tmp_str varchar(1024)declare @drop_temp varchar(1024)declare @lock_datarows_str varchar(100)declare @pk_str varchar(1024)declare @start_str varchar(100)declare @default_str varchar(8000)declare @index_str varchar(1024)declare @grant_str varchar(1024)declare