变“异构”为“共享”.docVIP

变“异构”为“共享” 　　由于历史进程或各方面原因，各 　　部门、行业、领域等都分别保存着不同历史时期各种各样的数据资料。这些数据因为体系结构、操作系统、数据库、数据结构等方面的异构，导致信息不能自动地实现共享或无法直接用于共享。如何完成不同部门之间的数据比对和整合，实现部门之间数据资源共享和重复利用，已经成为迫切需要解决的问题。结合“宁波市法人基础信息建设”项目中的数据处理案例，深入研究如何对大量异构数据进行复杂关联比对，找出尽量多的相同、相似信息，将同源信息整合到一起，打破信息孤岛现象，使现有的数据信息可以得到更有效的共享、交换、集成和再利用。 　　异构数据处理过程 　　异构数据处理应用于数据交换系统和服务系统、应用系统之间，负责将采集到的数据进行处理，并返回处理结果。 　　由于各种原因，部门数据各自符合自身业务需求，要将这些数据进行共享和重复利用，需要首先将数据进行集中，集中后进行数据清洗，将一些不完整或不符合数据基础要求的数据进行清洗，从而保证最终形成的数据是完整的数据；然后对数据进行预处理，将不同业务环境、输入语言等情况下形成的数据进行统一后，进入数据比对，最终形成完整、准确的中心信息库。 　　数据预处理 　　要将部门数据进行比对，需要首先对数据进行预处理，即数据初始化，数据预处理主要工作是清理及创建比对过程中所需要的数据表并将各部门单位的原始数据复制到临时表，为数据过滤和比对做基础。 　　数据加工人员选择要进行处理的原始数据，处理前需要将数据内容记入原始数据库。载入所选数据后，根据数据唯一标识判断是否已经经过处理。数据唯一标识可以是一个批次号，由数据交换子系统生成，如果发现此数据重复，则转到非法数据处理。 　　数据规范化处理，数据规范化主要针对现有数据中存在的大量不规范现象进行处理，包括去空处理（包括去除前空格、后空格、中间空格）、双字节统一转化为单字节、全角符号，如@、、%等统一转化为半角符号等。 　　最后根据事先约定的数据提供格式校验数据格式是否合法。如果发现此数据格式非法，则转到非法数据处理，经过以上数据处理之后，数据预处理完成。 　　数据过滤 　　目前一些单位提供的法人数据存在着一定的质量问题，以企业举例，主要体现在以下几个方面。 　　企业代码不一致：每个部门的业务系统采用了不同的编码来表示一个企业，如工商局业务系统中的企业注册登记号，税务系统中的纳税人识别号，质监系统中的企业组织机构代码等，这些系统根据自己的业务特征以各自的编码规则组织、管理企业信息，编号仅在本系统中有明确的含义，到了别的系统中则可能没有意义。 　　数据量不一致：由于目前各个业务系统之间尚未实现实时的数据交换，存在着企业注册后，没有办理组织机构代码、税务登记等业务，造成了各系统之间数据的差别。 　　数据项数据不合法：比如企业名称、注册日期等。 　　数据项数据不一致：各个业务部门记录的同一数据项的内容不同，主要体现在企业名称、注册登记号、注册地等数据项。 　　代码标准不一致：比如民族、性别等，在不同的系统中采用不同的代码。 　　原始数据不真实：比如录入错误、恶意谎报等。 　　此外，还存在多词同义、恶意注册等现象，这些都给信息的数据比对工作造成很大困难，使得在将分布的数据集中到统一的数据平台后，难以取得数据交换的应有效果，这就失去了数据共享的意义。 　　通过数据过滤可以捕获有用数据， 去掉重复数据，并将这些异常数据放入至异常数据表中，可以更有效地进行数据的采集和分析，以确保后续数据的有效性和准确性，进一步提高工作效率。 　　数据比对 　　数据比对分为两种情况，一种是工商的企业基础信息的比对，另一种是其他部门企业基础信息和总库的法人基础信息以组织机构代码、工商注册码和法人单位名称为比对依据。 　　第一种情况：工商企业基础信息和总库的企业基础信息以工商局企业注册号为比对依据。新接收到的工商企业基础信息，与总库的企业基础信息的企业注册号进行比对，比对一致，则更新总库中企业基础信息，否则在总库中增加一条数据。 　　第二种情况：其他部门企业基础信息和总库的企业基础信息以组织机构代码、工商注册码和企业名称为比对依据，分多次比对。 　　根据比对规则，对不同部门的法人数据来源进行比对，以形成标准、规范、准确的法人信息，保证法人数据的唯一性和企业数据的唯一性。根据定制好的比对规则，对已经预处理完的数据进行比对，将比对成功的数据插入至中心数据库，并将比对状态标识进行更新，比对不成功的继续放在预处理数据库，等待下一次比对。这样处理的优势如下：一是保证数据的准确性、完整性。二是为了增加中心数据库的数据量。 　　数据审核 　　首先，罗列所有无法自动比对的差异数据，数据加工人员选择要进行处理的差异数据。然后载入所选数