海量金融票据影像文件轻松管.docxVIP

海量金融票据影像文件轻松管金融票据影像业务发展金融行业在业务运营中会产生大量纸制凭证，传统的业务处理方式存在着凭证保存成本高,手工录入、翻阅，效率低,无法进行历史交易统计和关联交易分析等种种不便。随着金融电子化、流程银行及集中作业中心等理念的深入推广，许多金融机构建设了票据影像集中管理平台。这是一个集档案录入、图像处理、智能识别、数据核对、统计分析、海量存储、精确查询于一体的计算机辅助管理系统。此平台为其它业务系统提供影像管理方面的业务支持，极大地提高了工作效率，降低银行自身的生产运营成本和管理成本，同时提高客户和员工的满意度。海量票据影像数据的管理难题IDC研究表明，金融行业未来80%的数据主要呈现为影像、照片、音频、视频等非结构化数据。从2010年到2020年，非结构化数据将以44倍的发展速度迅猛增长。票据影像数据为银行业务流程中产生的扫描文件、照片等业务凭证，随着业务的发展，总体数据量增长迅速。由于票据影像数据与传统的结构化数据有很大的不同，我们有必要深入了解一下票据影像数据的特点：文件小：票据影像文件一般经过压缩后，每个文件大小约在几十K至几百K之间，多见的是100K左右的文件数量大： 文件数目众多，依据银行的规模与上线的时间不同，单套系统中往往会存放数千万至数亿的文件数 空间占用大： 依据银行的规模与上线的时间，单套票据影像系统占用的存储空间为数T至数百T的存储空间调阅频率与生成时间有关： 一般来讲，票据影像文件90%-95%的调阅发生在3个月以内，一年或三年后的票据影像数据调阅的可能性非常低总体上讲，银行票据影像系统的数据特点是一个典型的“海量小文件”场景。从监管上讲，在银行业务流程过程中产生的数据是交易的重要凭据，应当长期保存；系统要对生产系统中的票据影像文件进行备份，保证生产系统数据损坏后能够快速恢复；对业务发生达到一定时间，访问概率低的票据影像数据应当实现归档，以降低对生产存储的占用；当业务需要时，譬如在司法场景下、客户投诉、业务调取场景下，能够迅速地查询到已经归档的票据影像文件。 然而，票据影像系统数据的文件小、数目多、总量大的特点，使得数据存储与数据保护存在诸多技术难点：备份时间长: 针对文件系统进行数据保护时，首先需要对全部文件进行扫描，当文件数量过多时，扫描时间会非常长。其次，需要逐一定位文件，拷贝文件，当文件海量时，备份时间也会非常长。这使得客户在指定的备份窗口内，无法实现数据备份离线保存后文件调阅麻烦: 如果将长期不用的文件离线保存至光盘或磁带，需要人工操作。调阅时，必须遵守一系列业务流程进行。如由业务发起调阅请求，科技人员受理，找到相应的介质，并将离线介质回迁至生产存储进行查询，查询后还需要进行删除 数量逐年增加: 随着银行业务的拓展、网点数目不断的增加、上线时间的变长，数据量成显著上升的趋势。这导致生产系统容量需求不断增加，需要不断的扩容 以某城城市商业银行为例，其票据影像系统上线3年，文件总数目达8000万，数据总量已达10TB，且以每年2~3TB的速度增长。大量的票据文件很快消耗了主存储系统的空间，面临着对昂贵主存扩容的压力。更为严峻的是，业界目前主流的数据保护方案，都没有充分考虑到票据影像“海量小文件”的特点，只能管理约百万级的文件，备份速度在每小时几十GB，10TB的数据备份需要数周时间。但实际环境中，是不可能有这么长的备份窗口。 因此，所有票据影像文件根本无法完成备份。近几年，我国有上百家银行逐渐建设了自己的票据影像系统，由于票据影像数据管理的技术难点，几乎都没有实现数据保护，系统长期处于高风险运行状态,一旦生产系统出现故障，后果不堪设想。针对票据影像的业务特点，我们认为在票据影像数据管理上需要满足以下需求：票据影像数据是交易中的重要凭证，必须满足监管部门对系统可靠性及数据保护的监管要求，实现千万级数据文件在给定的时间窗口内实现备份是基本要求对于已经归档的票据影像文件需要调阅的情况下，在一堆归档磁带或光盘中人工搜索文件工作量是无法想象的，必须提供“自动化”的、快速的归档文件调阅手段长期不用的票据影像文件需要从高端生产存储迁移到成本更低的近线存储，减少高端存储的扩容费用;数据的备份与恢复、归档与调阅、数据校验等数据管理操作需要实现“自动化”， 降低运行与维护的难度，减少人力投入华为票据影像数据管理解决之道设计理念票据影像文件数据管理所存在的问题不是一个简简单单的提高备份性能的问题。备份性能再高，也不能赶上票据影像数据增长的速度，不能满足票据影像管理的需求，管理“海量小文件”要建立相应的管理理念，通过系列的技术组合来实现。在采用备份手段进行数据保护时，首先需要控制备份量，也就是控制生产存储的数据量，将“海量小文件场景”转化为“大量小文件场景”。票据影像文件主要在生成后的一段时间内调阅，在